CZ305982B6 - Detection and visualization method of spatial trajectories of movement of water animals and apparatus for making the same - Google Patents
Detection and visualization method of spatial trajectories of movement of water animals and apparatus for making the same Download PDFInfo
- Publication number
- CZ305982B6 CZ305982B6 CZ2015-297A CZ2015297A CZ305982B6 CZ 305982 B6 CZ305982 B6 CZ 305982B6 CZ 2015297 A CZ2015297 A CZ 2015297A CZ 305982 B6 CZ305982 B6 CZ 305982B6
- Authority
- CZ
- Czechia
- Prior art keywords
- objects
- image
- time
- control unit
- container
- Prior art date
Links
- 241001465754 Metazoa Species 0.000 title claims abstract description 66
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 20
- 238000001514 detection method Methods 0.000 title abstract description 5
- 238000007794 visualization technique Methods 0.000 title abstract 4
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims description 8
- 230000005484 gravity Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 241000251468 Actinopterygii Species 0.000 description 12
- 238000012544 monitoring process Methods 0.000 description 7
- 238000011160 research Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 241000283086 Equidae Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 241000252233 Cyprinus carpio Species 0.000 description 1
- 241000252212 Danio rerio Species 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000027056 interspecies interaction between organisms Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K61/00—Culture of aquatic animals
- A01K61/90—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Zoology (AREA)
- Environmental Sciences (AREA)
- Marine Sciences & Fisheries (AREA)
- Animal Husbandry (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
Abstract
Description
Způsob detekce a vizualizace prostorových trajektorií pohybu vodních živočichů a zařízení k provádění tohoto způsobuMethod for detection and visualization of spatial trajectories of aquatic animals and equipment for performing this method
Oblast technikyField of technology
Vynález se týká oblasti sledování chování vodních živočichů na základě jejich pohybu nacházejících se v monitorovaném prostoru, ať už jednotlivě, či ve skupině.The invention relates to the field of monitoring the behavior of aquatic animals on the basis of their movements located in the monitored area, either individually or in a group.
Dosavadní stav technikyPrior art
V rámci výzkumu chování živočichů, při kterém jsou živočichové monitorování nepřetržitě, ať už samostatně, či ve skupinách, byla vyvinuta elektronická řešení, která pořizují vizuální záznam, ze kterého je následně vytvořena analýza chování na základě trajektorie pohybu živočichů. V průběhu výzkumu je sledována vzájemná interakce živočichů, či reakce živočichů na nové podněty a situace.As part of animal behavior research, in which animals are monitored continuously, either individually or in groups, electronic solutions have been developed that make a visual record, from which an analysis of behavior is then created based on the trajectory of the animals' movements. During the research, the mutual interaction of animals or the reaction of animals to new stimuli and situations is monitored.
Z přihlášky vynálezu WO 2014023870 Al je známo elektronické zařízení a způsob, při kterém se monitorují živočichové suchozemští i vodní. Způsob uvedený v přihlášce pořizuje obrazový záznam monitorované oblasti, který následně rozdělí na jednotlivé snímky, které analyzuje. Pro každý sledovaný objekt (konkrétní živočich) analyzuje jeho pixelový obraz v konkrétním snímku. Podle světelné intenzity pixelů nalezne nej intenzivnější pixely nacházející se v obrazu objektu. Na základě těchto vybraných pixelů je vytvořen bodový útvar, který lze sledovat a který nepodléhá v jiných snímcích stejného objektu zkreslení v případech, že se třeba živočich převrátí na stranu. Součástí zařízení je záznamová CCD kamera upevněná nad monitorovanou oblastí, která pořizuje snímky monitorované oblasti včetně živočichů, a výpočetní zařízení, které snímky ukládá a analyzuje.WO 2014023870 A1 discloses an electronic device and method for monitoring both terrestrial and aquatic animals. The method described in the application acquires an image record of the monitored area, which is then divided into individual images, which it analyzes. For each monitored object (a specific animal), it analyzes its pixel image in a specific image. Depending on the light intensity of the pixels, it finds the most intense pixels found in the image of the subject. Based on these selected pixels, a point shape is created that can be tracked and that is not subject to distortion in other images of the same object in cases where, for example, the animal flips to the side. The device includes a recording CCD camera mounted above the monitored area, which takes images of the monitored area, including animals, and a computing device, which stores and analyzes the images.
Nevýhody výše uvedeného řešení spočívají v tom, že způsob a zařízení nejsou vhodné pro sledování vodních živočichů. V případě sledovaných suchozemských živočichů pohybujících se po rovinné ploše monitorované oblasti jsou zařízení a způsob dobře funkční. Problém nastává tehdy, jakmile dojde ke sledování vodních živočichů např. ryb, které plavou a tak se pohybují v mnoha úrovních monitorovaného prostoru. Vodní živočichové se mohou podplavávat, čímž dochází ke spojení dvou pozorovaných objektů v jeden, a tím pádem dojde ke zmatení zařízení. Tento problém nastává díky použití snímacího zařízení, které poskytuje pouze 2D informaci o snímané scéně. Dále je problematické v průběhu softwarové analýzy odstraňovat zkreslení způsobené světelnými odlesky od vodní hladiny, vlněním vodní hladiny, pokud jsou živočichové velice pohybliví, optické zkreslení na základě přechodu dvou prostředí s jiným indexem lomu světla.The disadvantages of the above solution are that the method and the device are not suitable for monitoring aquatic animals. In the case of monitored terrestrial animals moving on a flat surface of the monitored area, the equipment and method are well functional. The problem arises when aquatic animals, such as fish, are observed to swim and move in many levels of the monitored area. Aquatic animals can swim, thus merging two observed objects into one, thus confusing the device. This problem occurs due to the use of a capture device that provides only 2D information about the scene being captured. Furthermore, it is problematic during software analysis to remove distortion caused by light reflections from the water surface, ripples of the water surface, if the animals are very mobile, optical distortion due to the transition of two environments with different refractive index.
V jiném známém zařízení a způsobu z japonské přihlášky JP 2004089027 A je známo řešení ke sledování ryb obecně známých pod pojmenováním zebřičky (Dánio pruhované). Tento druh ryb je vhodný pro celou řadu vědeckých výzkumů, a proto bylo nutné vytvořit zařízení ke sledování jeho chování v monitorovaném prostoru. Zařízení zahrnuje alespoň jednu digitální kameru, která zaznamenává snímky monitorovaného prostoru rychlostí 8 snímků/sekunda. Na snímcích jsou identifikovány objekty - zebřičky a snímek po snímkuje sledováno jejich chování, včetně trajektorie pohybu. Nevýhody řešení spočívají v tom, že zařízení je schopné sledovat v monitorovaném prostoru pouze dvě zebřičky současně, přičemž se musí v průběhu analýzy komplikovaně odstraňovat zkreslení způsobené přechodem optického rozhraní mezi vzduchem a vodou.In another known apparatus and method from Japanese application JP 2004089027 A, a solution for monitoring fish generally known as zebrafish (Danio striped) is known. This species of fish is suitable for a wide range of scientific research, and therefore it was necessary to create a device to monitor its behavior in the monitored area. The device includes at least one digital camera that records images of the monitored area at a rate of 8 frames / second. Objects are identified in the images - zebras and frame by frame their behavior is monitored, including the trajectory of movement. The disadvantages of the solution are that the device is able to monitor only two zebras in the monitored space at the same time, while during the analysis the distortion caused by the transition of the optical interface between air and water must be complicatedly removed.
V dalším známém řešení zveřejněném v přihlášce vynálezu WO2007/008715 A2 je popsán systém pro sledování chování a pohybu objektů, zejména ryb. Okolo monitorovaného prostoru vymezeného průhledným materiálem jsou rozestavěny zrcadla. Jedno zrcadlo je uspořádáno z boku, druhé je uspořádáno nad monitorovaným prostorem. Monitorovaný prostor je sledován jednou kamerou, přičemž zrcadla tvoří další virtuální obrazy, které by jinak musely být zaznamenányAnother known solution published in the application of the invention WO2007 / 008715 A2 describes a system for monitoring the behavior and movement of objects, especially fish. Mirrors are set up around the monitored space defined by the transparent material. One mirror is arranged on the side, the other is arranged above the monitored space. The monitored space is monitored by a single camera, while the mirrors form additional virtual images that would otherwise have to be recorded
-1 CZ 305982 B6 dalšími kamerami. Kamera je připojena na počítač, který zahrnuje hardware a software pro zpracování a analýzu nasnímaných obrazů. Nevýhody řešení spočívají v tom, že zařízení je komplikované. Zrcadla se musejí náročně instalovat, monitorovaný prostor je těžko přístupný. Celé zařízení je neskladné a nákladné. V počítači se musí při analýze pracně odstraňovat zkreslení světelných paprsků vzniklé přechodem mezi dvěma optickými prostředími a v případě velké aktivity ryb dochází ke zkreslení obrazu z horního zrcadla pro zčeřenou hladinu vody.-1 CZ 305982 B6 other cameras. The camera is connected to a computer that includes hardware and software for processing and analyzing the captured images. The disadvantages of the solution are that the device is complicated. Mirrors must be difficult to install, the monitored area is difficult to access. The whole device is cumbersome and expensive. The computer must laboriously remove the distortion of light rays caused by the transition between the two optical media during the analysis, and in the case of high fish activity, the image from the upper mirror for the rippled water surface is distorted.
Úkolem vynálezu je vytvoření způsobu a zařízení pro detekci a vizualizaci prostorových trajektorií pohybu vodních živočichů, které by dokázaly monitorovat živočichy i v případě, kdy nad sebou proplouvají, či se dotýkají, které by odstranily zkreslení vyplývající z přechodu světelných paprsků mezi dvěma optickými prostředími a které by odstranily chybné zobrazení vyplývající z rozbouřené hladiny vodního sloupce v monitorovaném prostoru.The object of the invention is to provide a method and a device for detecting and visualizing the spatial trajectories of the movement of aquatic animals, which would be able to monitor animals even when they pass over or touch each other, which would remove distortions would eliminate the erroneous display resulting from the turbulent water column level in the monitored area.
Podstata vynálezuThe essence of the invention
Vytčený úkol je vyřešen vytvořením způsobu detekce a vizualizace prostorových trajektorií pohybu vodních živočichů podle tohoto vynálezu.The stated object is solved by creating a method for detecting and visualizing the spatial trajectories of the movement of aquatic animals according to the present invention.
Způsob detekce a sledování prostorových trajektorií pohybu vodních živočichů zahrnuje následující kroky. Nejprve se musí vymezit monitorovaný prostor, ve kterém se budou živočichové sledovat. Pro vymezení se použije nádoba s alespoň jednou průhlednou stěnou. Následně se pořizují digitální snímky živočichů umístěných v monitorovaném prostoru alespoň jednou kamerou pro záznam strukturovaného světla. Snímky se z kameiy odesílají do řídicí jednotky, ve které se zpracují. Zpracování snímků obnáší označení živočichů na snímku v podobě objektů se záznamem jejich pozice v monitorovaném prostoru, načež se v dalším snímku nové pozice propojí s pozicemi předcházejícími a propojením vznikne sledovaná trajektorie objektů v monitorovaném prostoru.The method of detecting and tracking the spatial trajectories of the movement of aquatic animals comprises the following steps. First, a monitored area must be defined in which the animals will be monitored. A container with at least one transparent wall is used for delimitation. Subsequently, digital images of animals placed in the monitored area are taken by at least one camera for recording structured light. The images are sent from the camera to the control unit, where they are processed. Image processing involves marking the animals in the image in the form of objects with a record of their position in the monitored area, then in the next image the new position is connected with the previous positions and the connection creates a monitored trajectory of objects in the monitored area.
Podstata vynálezu spočívá v tom, že se kamera umístí pod monitorovanou oblast vymezenou nádobou, a proto musí mít nádoba průhledné dno. Řídicí jednotka se nastaví pro záznam snímků hloubkové mapy. Hloubková mapa je pořízena na základě záznamu strukturovaného světla a je omezena zdola ve výšce odpovídající úrovni průhledného dna nádoby a omezena shora ve výšce odpovídající úrovni hladiny vody. Následně řídicí jednotka na snímku pořízeném v čase t redukuje obrazový šum a vyhledává objekty, dokud nesouhlasí počet detekovaných objektů s nastaveným počtem vodních živočichů. Pokud se řídicí jednotce nezdaří v průběhu redukce obrazového šumu na snímku z času t nalézt nastavený počet objektů, nalezne řídicí jednotka alespoň jeden splývající objekt složený alespoň ze dvou objektů. Řídicí jednotka rozdělí každý splývající objekt na odpovídající počet objektů, následně se pro každý objekt na základě jeho tvaru vytvoří geometrické těžiště tzv. centroid objektu a určí se nejkratší vzdálenost mezi sousedícími dvojicemi centroidů z kombinace snímků pořízených v časech t-1 at. Dvojice centroidů ze snímku t-1 a t se propojí úsečkou tvořící aktualizaci trajektorie a poté řídicí jednotka začne zpracovávat další pořízený snímek.The essence of the invention lies in the fact that the camera is placed under the monitored area delimited by the container, and therefore the container must have a transparent bottom. The control unit is set to record depth map images. The depth map is obtained on the basis of a record of structured light and is limited from below at a height corresponding to the level of the transparent bottom of the vessel and limited from above at a height corresponding to the level of the water level. Subsequently, the control unit reduces the image noise in the image taken at time t and searches for objects until the number of detected objects matches the set number of aquatic animals. If the control unit fails to find the set number of objects in the image from time t during the reduction of image noise, the control unit finds at least one converging object composed of at least two objects. The control unit divides each merging object into a corresponding number of objects, then a geometric center of gravity of the so-called centroid object is created for each object based on its shape and the shortest distance between adjacent pairs of centroids is determined from a combination of images taken at times t-1 at. The pair of centroids from frame t-1 and t are connected by a line forming a trajectory update, and then the control unit starts processing the next frame taken.
Použití nádoby s průhledným dnem je výhodné, neboť nedochází ke zkreslení obrazu vlněním vodní hladiny, zejména při vysoké aktivitě vodních živočichů. Umístění kamery pod nádobou je konstrukčně snadné, kamera nepřekáží, jako je tomu v případech po stranách, či nad nádobou. Vytvoření hloubkové mapy na základě snímání obrazu strukturovaného světla umožňuje sledovat na snímku i hloubku. Pro odstranění nadbytečného množství dat a zkreslení je pro snímky hloubková mapa oříznuta zdola nastavením vzdálenosti dna nádoby od kamery a shora nastavením vzdálenosti hladiny vody od kamery. Sledování zdola má další nespornou výhodu, která spočívá v tom, že vodní živočichové, zejména ryby, mají při sledování zdola téměř neměnný tvar, který lze zpracovávat jako objekt v řídicí jednotce. Pokud jsou objekty čitelné, tzn., že nijak nesplývají a řídicí jednotka identifikuje správný počet objektů, tak řídicí jednotka na základě jejich tvaru naleze pro každý objekt jeho centroid, který je bodový. Kombinací dvou snímků pořízenýchThe use of a container with a transparent bottom is advantageous, since the image is not distorted by the ripple of the water surface, especially at high activity of aquatic animals. Placing the camera under the container is structurally easy, the camera does not interfere, as in the cases on the sides or above the container. Creating a depth map based on capturing an image of structured light allows you to monitor the depth of the image. To remove excess data and distortion, the depth map for images is cropped from below by setting the distance of the bottom of the container from the camera and from above by setting the distance of the water level from the camera. Bottom viewing has another indisputable advantage, which is that aquatic animals, especially fish, have an almost constant shape when viewed from below, which can be processed as an object in the control unit. If the objects are legible, ie they do not coincide in any way and the control unit identifies the correct number of objects, then based on their shape, the control unit finds for each object its centroid, which is a point. A combination of two pictures taken
-2CZ 305982 B6 v čase t-1 a t dojde nalezení rozdílu v poloze centroidu každého objektu, přičemž tento rozdíl je vyznačen úsečkou, která tvoří součást trajektorie. Pokud nejsou objekty rozpoznatelné, řídicí jednotka je rozdělí tak, aby počet souhlasil.-2GB 305982 B6 at time t-1 and t, a difference is found in the centroid position of each object, this difference being indicated by a line which forms part of the trajectory. If the objects are not recognizable, the control unit divides them so that the number agrees.
Ve výhodném provedení způsobu podle vynálezu se v rámci rozdělení splývajícího objektu podnikají následující kroky. Hloubková mapa monitorovaného prostoru se rozdělí na alespoň dvě jednotlivé úrovně, načež se splývající objekt rozdělí na dílčí úplné a neúplné objekty ležící v jednotlivých úrovních hloubkové mapy. Objekty zastupující živočicha z hlediska jednotlivých úrovní nejblíže kameře jsou viditelné v celku a jsou rozpoznány. Neúplné objekty z úrovní 10 hloubkové mapy vzdálenějších od kamery jsou zrekonstruovány a následně jsou použity pro aktualizaci trajektorie, neboť už jsou rozeznatelné. V případě, že jsou živočichové ve stejné úrovni a dotýkají se, řídicí jednotka postupuje následujícím způsobem. Pro splývající objekt v rámci jedné úrovně hloubkové mapy se na snímku z času t použijí centroidy snímku z času t-1, ze kterých se pro snímek z času t dopočítá nej pravděpodobnější pozice centroidů objektů na základě 15 rychlosti a směru pohybu centroidů ze snímku z času t-1. Následně se dopočítané centroidy dotýkajících se objektů na snímku z času t propojí v nejkratších vzdálenostech úsečkou, která je v jejím středu proložena kolmicí, přičemž řídicí jednotka rozdělí splývající objekt kolmicí na správný počet objektů.In a preferred embodiment of the method according to the invention, the following steps are taken as part of the division of the merging object. The depth map of the monitored area is divided into at least two individual levels, after which the merging object is divided into partial complete and incomplete objects lying in the individual levels of the depth map. Objects representing the animal in terms of individual levels closest to the camera are visible as a whole and are recognized. Incomplete objects from levels 10 of the depth map farther away from the camera are reconstructed and then used to update the trajectory, as they are already recognizable. If the animals are at the same level and touching, the control unit proceeds as follows. For a merging object within one level of the depth map, the centroids of the image from time t-1 are used in the image from time t, from which the most probable position of the centroids of the objects is calculated for the image from time t based on the 15 speed and direction of centroids from the time image. t-1. Subsequently, the computed centroids of the touching objects in the image from time t are connected at the shortest distances by a line which is interspersed with a perpendicular in its center, the control unit dividing the merging object perpendicular to the correct number of objects.
Rozdělení splývajících objektů je efektivní, nezkresluje výsledky a lze jej rychle provádět ve výpočetní jednotce. Způsob rozdělení nevyžaduje žádné další snímky z doplňkových kamer a je velice přesný.The division of merging objects is efficient, does not distort the results and can be done quickly in a computing unit. The method of division does not require any additional images from additional cameras and is very accurate.
V dalším výhodném provedení vynálezu je hodnota pro maximální počet vodních živočichů 25 umístěných v monitorované oblasti rovna číslu šest. A minimální velikost vodních živočichů je mm. Maximální počet šest živočichů, včetně jejich minimální velikosti, je optimálně zvolen na základě provedených experimentů.In another preferred embodiment of the invention, the value for the maximum number of aquatic animals 25 located in the monitored area is equal to six. And the minimum size of aquatic animals is mm. The maximum number of six animals, including their minimum size, is optimally chosen on the basis of the experiments performed.
V dalším výhodném provedení je rychlost pořizování snímků nejméně deset snímků za sekundu. 30 Při pomalejším snímání je výsledná trajektorie vyobrazena lomenou čarou, která nemá dostatečnou výpovědní hodnotu pro prováděný behaviorální výzkum.In another preferred embodiment, the frame rate is at least ten frames per second. 30 At slower scanning, the resulting trajectory is shown by a broken line, which does not have sufficient informative value for the conducted behavioral research.
Součástí tohoto vynálezu je také zařízení pro detekci a vizualizaci prostorových trajektorií pohybu vodních živočichů.The invention also relates to a device for detecting and visualizing the spatial trajectories of the movement of aquatic animals.
Zařízení pro detekci a vizualizaci prostorových trajektorií pohybu vodních živočichů zahrnuje nádobu s alespoň jednou průhlednou stěnou. Dále je součástí zařízení alespoň jedna kamera pro záznam strukturovaného světla a alespoň jeden zdroj strukturovaného světla. Zařízení musí mít alespoň jednu řídicí jednotku pro zpracování snímků z kamery.The device for detecting and visualizing the spatial trajectories of the movement of aquatic animals comprises a container with at least one transparent wall. The device further comprises at least one camera for recording structured light and at least one source of structured light. The device must have at least one control unit for processing images from the camera.
Podstata vynálezu spočívá v tom, že nádoba má průhledné dno a pod nádobou je uspořádaná kamera pro snímání vnitřku nádoby. Přes průhledné dno je zdroj strukturovaného světla zaměřený směrem do monitorovaného prostoru nádoby. Řídicí jednotka je tvořena počítačem opatřeným alespoň jedním softwarovým modulem a je propojena s kamerou.The essence of the invention lies in the fact that the container has a transparent bottom and a camera is arranged under the container for scanning the inside of the container. Through a transparent bottom, the source of structured light is directed towards the monitored space of the container. The control unit consists of a computer equipped with at least one software module and is connected to the camera.
Konstrukce zařízení je jednoduchá, má nízké pořizovací náklady, neboť nepotřebuje žádná zrcadla, ani jiné doplňující snímače obrazu.The construction of the device is simple, it has low acquisition costs, as it does not need any mirrors or other additional image sensors.
Ve výhodném provedení zařízení podle vynálezu je půdorys nádoby obdélníkového tvaru o roz50 měrech 1400 mm krát 400 mm. Na základě provedených experimentů je tento rozměr nádoby pro vymezení monitorovaného prostoru považován jako velice vhodný.In a preferred embodiment of the device according to the invention, the plan view of the container is rectangular with dimensions of 1400 mm by 400 mm. Based on the performed experiments, this dimension of the vessel is considered to be very suitable for defining the monitored space.
Další součástí tohoto vynálezu je také softwarový modul obsahující program pro detekci a vizualizaci prostorových trajektorií pohybu vodních živočichů, jehož podstata spočívá v tom, že zahr55 nuje následující kroky:Another part of the present invention is also a software module comprising a program for detecting and visualizing the spatial trajectories of the movement of aquatic animals, the essence of which consists in the following steps:
-3CZ 305982 B6-3GB 305982 B6
- pořízení snímku hloubkové mapy v čase t zahrnující monitorovaný prostor vymezený nádobou- taking a snapshot of the depth map at time t including the monitored space defined by the vessel
- omezení hloubkové mapy na monitorovaný prostor spodním omezením nastavením úrovně dna nádoby a horním omezením nastavením na úroveň vodní hladiny- limitation of the depth map to the monitored area by lower limitation by setting the level of the bottom of the vessel and by upper limitation by setting to the level of the water level
- nalezení objektů na snímku vytvořeném v čase t a porovnání počtu nalezených objektů s nastaveným počtem vodních živočichů- finding objects in the image created at time t and comparing the number of found objects with the set number of aquatic animals
- rozdělení splývajících objektů na objekty v rámci jednotlivých úrovní hloubkové mapy- division of merging objects into objects within individual levels of the depth map
- rozdělení splývajících objektů v jedné úrovni na snímku z času t pomocí výpočtu z dat ze snímku pořízeného v čase t-1- distribution of converging objects in one level on the image from time t by calculation from data from the image taken at time t-1
- nalezení centroidů pro každý z objektů na snímku z času t- finding centroids for each of the objects in the image from time t
- současné promítnutí centroidů ze snímků pořízených v čase t-1 a t a následné propojení souvisejících centroidů úsečkou- simultaneous projection of centroids from images taken at time t-1 and t and subsequent connection of related centroids by a line
- promítnutí úsečky spojující centroidy objektu do celkové trajektorie vodního živočicha zastoupeného daným objektem- projection of a line connecting the centroids of the object into the overall trajectory of the aquatic animal represented by the object
Softwarový modul s programem umožňuje vytvoření řídicí jednotky z libovolného stolního, nebo přenosného, počítače s odpovídajícím pracovním výkonem.The software module with the program allows the creation of a control unit from any desktop or portable computer with the appropriate work output.
Výhody způsobu detekce a vizualizace prostorových trajektorií pohybu vodních živočichů a zařízení k provádění tohoto způsobu zjednodušuje stávající způsoby využívající vyšší počet kamer. Způsob snižuje množství zpracovávaných dat, odstraňuje zkreslení omezením hloubkové mapy, zrychluje práci řídicí jednotky. Sledování ryb zespodu je výhodné, neboť tvar těla ryb tvořící objekt je téměř neměnný nezávisle na směru pohybu ryb ve vodorovné rovině. Způsob je vhodný pro sledování relativně malých vodních živočichů o celkovém počtu šesti současně sledovaných objektů. Způsob si dokáže poradit se zkreslením na snímcích způsobeným překryvem, nebo kontaktem mezi objekty. Zařízení pro provádění způsobu lze jednoduše zkonstruovat a má nenáročnou údržbu.The advantages of the method of detecting and visualizing the spatial trajectories of the movement of aquatic animals and the device for carrying out this method are simplified by the existing methods using a larger number of cameras. The method reduces the amount of processed data, removes distortion by reducing the depth map, speeds up the work of the control unit. Tracking fish from below is advantageous because the shape of the body of the fish forming the object is almost unchanged regardless of the direction of movement of the fish in the horizontal plane. The method is suitable for monitoring relatively small aquatic animals with a total of six simultaneously monitored objects. The method can deal with distortion in images caused by overlap or contact between objects. The device for carrying out the method can be easily designed and has low maintenance.
Objasnění výkresůExplanation of drawings
Uvedený vynález bude blíže objasněn na následujících vyobrazeních, kde:The present invention will be further elucidated in the following figures, where:
obr. 1 znázorňuje perspektivní schematický pohled na zařízení pro sledování trajektorie pohybu vodních živočichů, obr. 2 znázorňuje vytvoření hloubkové mapy zasahující měřenou oblast, obr. 3 znázorňuje tvary objektů tvořené vodními živočichy zaznamenané ze spodu nádoby, obr. 4 znázorňuje snímky v čase tav čase t-1 při provádění způsobu propojování centroidů, obr. 5 znázorňuje snímky s vodními živočichy, kteří se nadplouvají v monitorované oblasti v různých úrovních, a kdy se splývající objekt rozdělí na objekty rozlišením různých úrovní, obr. 6 znázorňuje snímky se splývajícím objektem na základě kontaktu ryb ve stejné úrovni a s rozlišením jednotlivých objektů obr. 7 znázorňuje procesní algoritmus prováděného způsobu.Fig. 1 shows a perspective schematic view of a device for monitoring the trajectory of aquatic animals, Fig. 2 shows the creation of a depth map covering the measured area, Fig. 3 shows the shapes of objects formed by aquatic animals recorded from the bottom of the vessel, Fig. 4 shows images in time and time t-1 in carrying out the method of connecting centroids, Fig. 5 shows images with aquatic animals floating in the monitored area at different levels and when the merging object is divided into objects by resolving different levels, Fig. 6 shows images with the merging object based on contact of fish at the same level and with the resolution of individual objects Fig. 7 shows the process algorithm of the performed method.
-4CZ 305982 B6-4CZ 305982 B6
Příklad uskutečnění vynálezuExample of an embodiment of the invention
Rozumí se, že dále popsané a zobrazené konkrétní případy uskutečnění vynálezu jsou představovány pro ilustraci, nikoliv jako omezení vynálezu na uvedené příklady. Odborníci znalí stavu techniky najdou nebo budou schopni zajistit za použití rutinního experimentování větší či menší počet ekvivalentů ke specifickým uskutečněním vynálezu, která jsou zde popsána. I tyto ekvivalenty budou zahrnuty v rozsahu následujících patentových nároků.It is to be understood that the specific embodiments of the invention described and illustrated below are presented by way of illustration and not by way of limitation. Those skilled in the art will find, or be able to ascertain using routine experimentation, more or less equivalents to the specific embodiments of the invention described herein. These equivalents will also be included within the scope of the following claims.
Na schematickém zobrazení zařízení na obr. 1 je vyobrazena nádoba 4 akvária s průhledným dnem 10. Uvnitř nádoby 4 je napuštěna voda, do které jsou umístěni sledovaní vodní živočichové 2 např. kaprovité ryby. Vnitřek nádoby 4 tvoří monitorovanou oblast 3. Pod průhledným dnem 10 nádoby 4 je umístěn zdroj 18 strukturovaného světla, který má výstup záření orientován směrem do nádoby 4. Zdroj 18 strukturovaného světlaje infračervený zářič, či laser s nízkou energií. Pod nádobou 4 se dále nachází kamera 7 schopná snímat strukturované světlo, která je připojena k řídicí jednotce 8 tvořené počítačem.The schematic representation of the device in Fig. 1 shows an aquarium container 4 with a transparent bottom 10. Inside the container 4, water is filled into which the monitored aquatic animals 2, e.g. carp, are placed. The interior of the container 4 forms a monitored area 3. Below the transparent bottom 10 of the container 4, a structured light source 18 is located, which has a radiation output oriented towards the container 4. The structured light source 18 is an infrared emitter or a low energy laser. Below the container 4 there is further a camera 7 capable of sensing structured light, which is connected to a control unit 8 formed by a computer.
Kamera 7 zaznamenává sérii digitálních snímku 5 rychlostí 10 snímků za sekundu. Snímky 5 jsou vyhodnocovány v řídicí jednotce 8, která je může rovněž archivovat a dále z nich modeluje trajektorii 1 pohybu vodních živočichů 2 v monitorovaném prostoru 3.Camera 7 records a series of digital images 5 at a rate of 10 frames per second. The images 5 are evaluated in the control unit 8, which can also archive them and further model the trajectory 1 of the movement of aquatic animals 2 in the monitored space 3 from them.
Na obr. 2 je vyobrazeno schéma použití strukturovaného světla, které umožňuje vytvoření prostorové hloubkové mapy 6. To znamená, že ačkoliv je kamera 7 umístěna pod nádobou 4, je schopna snímat informaci na o výškové úrovni 11, na jaké se živočichové 2 nacházejí. Pro usnadnění práce s analýzou snímků 5 je v řídicí jednotce 8 pevně nastaveno, že měřená oblast 3 v hloubkové mapě 6 je ohraničena úrovní 11 se dnem 10 nádoby 4 a úrovní 114 s hladinou 12 vody. Řídicí jednotka 8 data ostatních úrovní hloubkové mapy 6 ze snímku 5 odstraňuje.Fig. 2 shows a diagram of the use of structured light, which allows the creation of a spatial depth map 6. This means that although the camera 7 is located under the container 4, it is able to capture information on the height level 11 at which the animals 2 are. To facilitate the work with the analysis of the images 5, it is fixed in the control unit 8 that the measured area 3 in the depth map 6 is delimited by level 11 with the bottom 10 of the vessel 4 and level 11 4 with the water level 12. The control unit 8 removes the data of the other levels of the depth map 6 from the frame 5.
Na obr. 3 jsou vodní živočichové 2 vyobrazeni v pohledu zdola na příkladovém snímku 5. Při pohledu zdola mají např. ryby velice ustálený tvar, který lze dobře pozorovat jako tvarově konstantní objekt 9.In Fig. 3, the aquatic animals 2 are shown in a bottom view in the example image 5. When viewed from below, for example, the fish have a very stable shape, which can be well observed as a shape-constant object 9.
Na obr. 4 jsou vyobrazeny objekty 9 na dvou odlišných snímcích 5. Jeden snímek 5 byl pořízen v čase t, zatímco druhý snímek 5 byl pořízen v čase t-1, tzn. v předcházející moment. Je patrný rozdíl mezi objekty_9, které se v době pořízení snímků 5 pohybovaly. Na snímku 5 z času t se u objektů 9 naleznou geometrické středy, tzv. centroidy 13. Centroid 13 je těžištěm digitálních obrazových bodů vykreslující objekt 9. Následně se snímky 5 z času t a z času t-1 překryjí a pár stejných nejblíže ležících centroidů 13 se propojí úsečkou L4. Úsečka 14 se zaznamená a tvoří aktualizaci trajektorie 1 objektu 9.Fig. 4 shows objects 9 in two different images 5. One image 5 was taken at time t, while the other image 5 was taken at time t-1, i. at the previous moment. There is a noticeable difference between the objects_9 that were moving at the time the pictures were taken 5. In the frame 5 from time t, geometric centers, so-called centroids 13, are found in the objects 9. The centroid 13 is the center of gravity of the digital pixels depicting the object 9. Subsequently, the frames 5 from time t t of time t-1 overlap and a couple of identical nearest connects with line L4. Line 14 is recorded and forms an update of trajectory 1 of object 9.
V případě, že objekty 9 tvoří splývající objekt 15. který nelze řídicí jednotkou 8 rovnou rozeznat, je aplikován kompenzační způsob umožňující zpracování splývajícího objektu 15 na objekty 9 samostatné. Jednou z možných funkcí kompenzačního způsobu je využití odlišných úrovní 1 1. HL 1 U\ 11HÍ hloubkové mapy 6, jak je vyobrazeno na obr. 5. Řídicí jednotka 8 vyhodnotí objekty 9 pro každou úroveň 11“, 11 zvlášť, přičemž objekty 9 neúplné zrekonstruuje, do jejich správného tvaru. Vyhodnocení objektů 9 pro každou úroveň 1 Γ\ U_22 probíhá již obdobně, jako u postupu popsaného s obr. 4. Tento způsob je vhodný pro zkreslení způsobené plaváním ryb přes sebe v různých úrovních 1 P\ IP“.In the case that the objects 9 form a merging object 15, which cannot be directly recognized by the control unit 8, a compensation method is applied enabling the processing of the merging object 15 into separate objects 9. One of the possible functions of the compensation method is the use of different levels 1 1. HL 1 U \ 11HÍ of the depth map 6, as shown in Fig. 5. The control unit 8 evaluates the objects 9 for each level 11 “, 11 separately, while the objects 9 incompletely reconstruct , into their proper shape. The evaluation of the objects 9 for each level 1 P \ U_22 already proceeds similarly to the procedure described with Fig. 4. This method is suitable for the distortion caused by the swimming of fish over each other in different levels 1 P \ IP “.
V případě, že se objekty 9 dotýkají na společné úrovni 11“ a tvoří splývající objekt 15 jako např. na obr. 6, způsob podle obr. 5 není účinný. Řídicí jednotka 8 v tomto případě postupuje tak, že vezme snímek 5 z času t-1, u kterého již centroidy 13 zná. Na základě parametrů rychlost a směr pohybu objektů 9 dopočítá očekávanou pozici centroidů 13 na snímku z času t. Na snímku 5 z času t centroidy 13 ve splývajícím objektu 15 propojí úsečkou 16 a následně úsečku 16 půlí kolmicí 17. Kolmice 17 rozdělí splývající objekt 15 na jednotlivé detekované objekty 9. Další postup zápisu centroidů 13 do trajektorie 1 je již stejný, jako v předcházejících odstavcích.In case the objects 9 touch at a common level 11 "and form a merging object 15, such as in Fig. 6, the method according to Fig. 5 is not effective. In this case, the control unit 8 proceeds by taking a frame 5 from time t-1, for which it already knows the centroids 13. Based on the parameters, the speed and direction of movement of objects 9 calculate the expected position of the centroids 13 in the image from time t. In image 5 from time t, the centroids 13 in the merging object 15 connect line 16 and then line 16 bisected by a perpendicular 17. Perpendicular 17 divides the merging object 15 into individual detected objects 9. The further procedure of writing the centroids 13 into the trajectory 1 is already the same as in the previous paragraphs.
-5CZ 305982 B6-5CZ 305982 B6
Celý postup je pro přehlednost vyobrazen jako algoritmus na obr. 7.The whole procedure is shown as an algorithm in Fig. 7 for clarity.
Průmyslová využitelnostIndustrial applicability
Způsob a zařízení pro detekci a vizualizaci prostorových trajektorií pohybu vodních živočichů podle vynálezu naleznou uplatnění při výzkumu chování vodních živočichů při vzájemné mezidruhové interakci, nebo při interakci živočichů s novými podmínkami, či při kontrole kvality vody, a při studování živočichů v období páření.The method and device for detecting and visualizing spatial trajectories of aquatic animals according to the invention find application in research of aquatic animal behavior in interspecies interaction with each other, or in animals interacting with new conditions, or in water quality control, and in studying animals during mating.
Claims (8)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CZ2015-297A CZ2015297A3 (en) | 2015-04-29 | 2015-04-29 | Detection and visualization method of spatial trajectories of movement of water animals and apparatus for making the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CZ2015-297A CZ2015297A3 (en) | 2015-04-29 | 2015-04-29 | Detection and visualization method of spatial trajectories of movement of water animals and apparatus for making the same |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CZ305982B6 true CZ305982B6 (en) | 2016-06-01 |
| CZ2015297A3 CZ2015297A3 (en) | 2016-06-01 |
Family
ID=56087614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CZ2015-297A CZ2015297A3 (en) | 2015-04-29 | 2015-04-29 | Detection and visualization method of spatial trajectories of movement of water animals and apparatus for making the same |
Country Status (1)
| Country | Link |
|---|---|
| CZ (1) | CZ2015297A3 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CZ307309B6 (en) * | 2017-05-31 | 2018-05-23 | Jihočeská univerzita v Českých Budějovicích, Fakulta rybářství a ochrany vod, Jihočeské výzkumné centrum akvakultury a biodiverzity hydrocenóz, Ústav komplexních systémů | A method of contactless detection of fish health and a device for implementing this method |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4744331A (en) * | 1985-06-14 | 1988-05-17 | Whiffin David E | Apparatus for rearing fish in natural waters |
| JPH0763747A (en) * | 1993-08-25 | 1995-03-10 | Japan Radio Co Ltd | Water quality inspection device |
| US5692064A (en) * | 1993-11-01 | 1997-11-25 | Hitachi, Ltd. | Method and apparatus for counting underwater objects using an ultrasonic wave |
| US5841884A (en) * | 1995-11-06 | 1998-11-24 | Anima Electronics Co., Ltd. | Water quality monitoring apparatus |
| WO2012038415A1 (en) * | 2010-09-24 | 2012-03-29 | Wingtech As | Fish counter |
| CZ26295U1 (en) * | 2013-03-21 | 2014-01-06 | Výzkumný ústav vodohospodářský T.G.M., v.v.i. | RFID system for monitoring migration of water animals through fish-passing facility |
-
2015
- 2015-04-29 CZ CZ2015-297A patent/CZ2015297A3/en not_active IP Right Cessation
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4744331A (en) * | 1985-06-14 | 1988-05-17 | Whiffin David E | Apparatus for rearing fish in natural waters |
| JPH0763747A (en) * | 1993-08-25 | 1995-03-10 | Japan Radio Co Ltd | Water quality inspection device |
| US5692064A (en) * | 1993-11-01 | 1997-11-25 | Hitachi, Ltd. | Method and apparatus for counting underwater objects using an ultrasonic wave |
| US5841884A (en) * | 1995-11-06 | 1998-11-24 | Anima Electronics Co., Ltd. | Water quality monitoring apparatus |
| WO2012038415A1 (en) * | 2010-09-24 | 2012-03-29 | Wingtech As | Fish counter |
| CZ26295U1 (en) * | 2013-03-21 | 2014-01-06 | Výzkumný ústav vodohospodářský T.G.M., v.v.i. | RFID system for monitoring migration of water animals through fish-passing facility |
Non-Patent Citations (1)
| Title |
|---|
| Yousef Atoum, Steven Srivastava, Xiaoming Liu: Automatic Feeding Control for Dense Aquaculture Fish Tanks, IEEE SIGNAL PROCESSING LETTERS, Volume 22, Issue 8, 24.12.2014 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CZ307309B6 (en) * | 2017-05-31 | 2018-05-23 | Jihočeská univerzita v Českých Budějovicích, Fakulta rybářství a ochrany vod, Jihočeské výzkumné centrum akvakultury a biodiverzity hydrocenóz, Ústav komplexních systémů | A method of contactless detection of fish health and a device for implementing this method |
Also Published As
| Publication number | Publication date |
|---|---|
| CZ2015297A3 (en) | 2016-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shortis et al. | Design and calibration of an underwater stereo-video system for the monitoring of marine fauna populations | |
| Pinto et al. | MARESye: A hybrid imaging system for underwater robotic applications | |
| Thomson et al. | Gigapixel imaging with a novel multi-camera array microscope | |
| CN110132989A (en) | A kind of distress in concrete detection device, method and terminal system | |
| US20230366738A1 (en) | Systems and methods for temperature measurement | |
| JP6736414B2 (en) | Image processing apparatus, image processing method and program | |
| Nakamura et al. | Low-cost three-dimensional gait analysis system for mice with an infrared depth sensor | |
| US20230376106A1 (en) | Depth information based pose determination for mobile platforms, and associated systems and methods | |
| Garner et al. | Estimating reef fish size distributions with a mini remotely operated vehicle-integrated stereo camera system | |
| CN112233076A (en) | Method and device for structural vibration displacement measurement based on image processing of red circular target | |
| GB2605621A (en) | Monocular depth estimation | |
| JP2004089027A (en) | Animal behavior analysis method, animal behavior analysis system, animal behavior analysis program, and computer-readable recording medium recording the same | |
| US9734429B2 (en) | Method, system and computer program product for detecting an obstacle with a camera | |
| KR102872437B1 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
| CZ305982B6 (en) | Detection and visualization method of spatial trajectories of movement of water animals and apparatus for making the same | |
| WO2022198508A1 (en) | Lens abnormality prompt method and apparatus, movable platform, and readable storage medium | |
| CN101814113A (en) | Infrared video analytic system of animal behavior | |
| JP7309953B1 (en) | Size calculation method, size calculation device, and program | |
| EP3855393B1 (en) | A method for detecting moving objects | |
| JP5587852B2 (en) | Image processing apparatus and image processing method | |
| CN109389623B (en) | Three-dimensional tracking system and tracking method for living fish | |
| TWI682360B (en) | Image processing method and image processing apparatus | |
| CN110738698A (en) | Floating type seabed data measuring method and device and electronic equipment | |
| van Houwelingen et al. | Automated LED tracking to measure instantaneous velocities in swimming | |
| RU133714U1 (en) | LABORATORY ANIMAL TRACTION DEVICE |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | Patent lapsed due to non-payment of fee |
Effective date: 20220429 |