NO348408B1 - Fremgangsmåte for analyse av fisk - Google Patents

Description

Teknisk felt:

Foreliggende oppfinnelse omhandler en fremgangsmåte for analyse av fisk.

Bakgrunn for oppfinnelsen:

Det finnes ingen fremgangsmåte for å analysere en fisk ut i fra et bilde tatt av en mobiltelefon eller liknende slik at man kan registrere hvilke type det er, vekt lengde og hvor den ble fanget og til hvilke tid.

Sammenfatning av oppfinnelsen

Oppfinnelsen slik den er beskrevet i søknadens kravsett løser problemet nevnt over ved å frembringe en fremgangsmåte for å estimere en vekt av en fisk, hvori fremgangsmåten omfatter følgende steg;

- ta bilde av fisken ved bruk av et kamera tilknyttet en mobilenhet, slik som en mobiletelefon eller et nettbrett,

- sende bildet til minst én AI modell, hvor bildet klassifiseres slik at det fremkommer hvilken fiskeart det er på bilde,

- segmentere bildet ved å sette alle piksler som inneholder fisken til en første verdi og gjenværende piksler settes til en andre verdi,

- sende det segmenterte bildet til en skeleton algoritme for å finne en midtlinje på fisken, og lagre alle pikslene som befinner seg på den beregnet midtlinjen,

- kartlegge nevnte piksler på den beregnede midtlinjen til “Real World” koordinater (x,y,z), slik at utvidet virkelighets (eng. augmented reality - AR) punkter (x,y,z) plasseres langs den beregnede midtlinjen på fisken,

- legge sammen (integrerer) alle punktene langs den beregnede midtlinjen og få et estimat på en lengde til fisken,

- bruke empiriske lengde- og vektverdier for den klassifiserte fiskearten til å estimere vekten på fisken basert på den estimerte lengden og fiskeart.

De kjente verdiene er k-faktor.

Kort beskrivelse av figurene

Fig.1 viser en fremgangsmåte for segmenteringen av bildet av fisken.

Detaljert beskrivelse

En utførelsesform av oppfinnelsen omfatter følgende fremgangsmåte

Oppgaveflyt på mobil.

1. Bruker tar bilde av fisk med en mobiltelefon. Fisken må være plassert slik at fisken tar opp så mange piksler som mulig (bedre resultat jo flere piksler fisken befinner seg i). Samtidig blir et dybde-bilde fra AR lagret.

2. Bildet blir så sendt til to AI modeller:

a. Bildet blir klassifisert slik at vi vet hva slags fisk som er fanget.

b. Bildet blir segmentert. Alle piksler som inneholder fisk blir satt til verdi 1, resten verdi 0.

3. Det segmenterte bilde blir så sendt til egen utviklet ‘skeleton’ algoritme for å finne midtlinjen til fisken. Alle pikslene som befinner seg på beregnet midtlinje blir lagret. 4. Nå som vi har midtlinjen til fisken mapper vi disse pikslene til “Real World” koordinater (x,y,z). Dermed blir det nå plassert ut Ar punkter (x,y,z) langs midtlinjen til fisken. Tilslutt summerer man opp (integrerer) alle punktene langs kurven og får et estimat på lengden til fisken.

5. Nå som lengde og art er kjent. Bruker vi kjente verdier (k-faktor) til og gi estimater på vekt.

AI- Klassifisering av fisk og segmentering

TensorFlow Lite er en lettvekts og optimalisert versjon av TensorFlow maskinlæring rammeverket som er designet for å kjøre maskinlæringsmodeller på mobile og innebygde enheter, samt andre ressursbegrensede miljøer. Det er en programvarebibliotek som lar utviklere distribuere maskinlæringsmodeller på mobile enheter, inkludert smarttelefoner, nettbrett og til og med mikrokontrollere.

TensorFlow Lite er designet for å gi høy ytelse og lav ventetid, slik at det kan kjøre effektivt på enheter med begrenset prosessorkraft og minne. Dette oppnås ved å bruke teknikker som modellkvantisering, som reduserer nøyaktigheten av modellens vekter og biaser for å tillate at de kan lagres og behandles ved hjelp av færre biter. TensorFlow Lite støtter også maskinvareakselerasjon på en rekke plattformer, inkludert CPU-er, GPU-er og spesialisert maskinlæringsmaskinvare som Google's Edge TPU.

I tillegg til å gi en kjøretid for å kjøre maskinlæringsmodeller på enheter, inkluderer TensorFlow Lite også verktøy for å konvertere modeller trent med det fulle TensorFlow rammeverket til et format som kan brukes med TensorFlow Lite. Dette gjør at utviklere enkelt kan distribuere modeller trent med TensorFlow på mobile og innebygde enheter.

Totalt sett gjør TensorFlow Lite det enklere for utviklere å bringe maskinlæringsfunksjonalitet til mobile og innebygde enheter, slik at de kan bygge intelligente applikasjoner som kjører lokalt på enheten, uten behov for nettverkstilkobling eller skybasert prosessering.

AR “Real World position”

ARCore er et programvareutviklingssett (SDK) utviklet av Google som gir utviklere verktøy for å bygge utvidet virkelighet (AR)-opplevelser på Android-enheter. ARCore bruker kameraet og sensorer på enheten til å forstå og samhandle med den fysiske verden, og lar brukerne plassere virtuelle objekter og informasjon på toppen av det virkelige miljøet. ARCore støtter også funksjoner som bevegelsessporing, miljøgjenkjenning og lysoppdagelse for å gi en mer realistisk og engasjerende AR-opplevelse.

ARKit er et lignende SDK utviklet av Apple for å bygge utvidet virkelighet (AR)-opplevelser på iOSenheter. ARKit bruker også kameraet og sensorer på enheten til å forstå og samhandle med det virkelige miljøet, og gir utviklere verktøy for å plassere virtuelle objekter og informasjon på toppen av det. ARKit støtter også funksjoner som bevegelsessporing, miljøgjenkjenning og lysoppdagelse, samt SceneKit og SpriteKit for å gi en mer avansert AR-opplevelse.

Både ARCore og ARKit har bidratt til å gjøre utvidet virkelighet mer tilgjengelig og brukervennlig for utviklere og brukere på mobile enheter.

Skeleton

Topologisk skjelett, også kjent som topologisk reduksjon, er en teknikk som brukes i bildebehandling og datamaskinsyn for å forenkle og representere et objekt som en serie av linjer eller kurver.

Topologisk skjelett består av en tynn og robust representasjon av en form, som opprettholder dens geometriske form og struktur, men eliminerer unødvendige detaljer.

Topologisk skjelett kan beregnes ved å bruke algoritmer som iterativt tynner ut et bilde eller en form ved å fjerne piksler eller voxeler som ikke er en del av skjelettet. Dette resulterer i en representasjon av objektet som en serie av punkter som representerer sentrene i de opprinnelige formene eller linjene.

Topologisk skjelett kan brukes i en rekke anvendelser innen bildebehandling og datamaskinsyn, for eksempel for å analysere biologisk vev, gjenkjenne gjenstander og mønstre, og segmentere bilder.

Det kan også være nyttig for å redusere datamengden som kreves for å representere et objekt, noe som kan være gunstig i applikasjoner med begrenset lagringskapasitet eller prosessorkraft.

Resultat

Generelt sett kombinerer denne tilnærmingen kraften fra AI og datamaskinsyn med den brukervennlige grensesnittet til AR for å gi en praktisk og nøyaktig måte å måle fiskelengde på i feltet.

Nedenfor ser du segmenteringen og skeleton algoritmene.

Skeleton #1 : Zhang’s method (A fast parallel algorithm for thinning digital patterns, T. Y. Zhang and C. Y. Suen, Communications of the ACM, March 1984, Volume 27, Number 3.)

Skelenton #2 : Lee’s method (T.-C. Lee, R.L. Kashyap and C.-N. Chu, Building skeleton models via 3-D medial surface/axis thinning algorithms. Computer Vision, Graphics, and Image Processing, 56(6):462-478, 1994.)

Custom Skeleton #1 : Egen utviklet (Fiskher)

Claims (2)

KRAV

1. En fremgangsmåte for å estimere en vekt av en fisk, fremgangsmåten omfatter følgende steg; - ta bilde av fisken ved bruk av et kamera tilknyttet en mobilenhet, slik som en mobiletelefon eller et nettbrett,

- sende bildet til minst én Al modell, hvor bildet klassifiseres slik at det fremkommer hvilken fiskeart det er på bilde,

- segmentere bildet ved å sette alle piksler som inneholder fisken til en første verdi og gjenværende piksler settes til en andre verdi,

- sende det segmenterte bildet til en skeleton algoritme for å finne en midtlinje på fisken, og lagre alle pikslene som befinner seg på den beregnet midtlinjen,

- kartlegge nevnte piksler på den beregnede midtlinjen til "Real World" koordinater (x,y,z), slik at utvidet virkelighets (eng. augmented reality - AR) punkter (x,y,z) plasseres langs den beregnede midtlinjen på fisken,

- legge sammen (integrerer) alle punktene langs den beregnede midtlinjen og få et estimat på en lengde til fisken,

- bruke empiriske lengde- og vektverdier for den klassifiserte fiskearten til å estimere vekten på fisken basert på den estimerte lengden og fiskeart.

2. Fremgangsmåte i henhold til krav 1 hvor de kjente verdiene er k-faktor.