Automated Monitoring

Building off our annotation tool and Squidle+, the project has also developed an automated monitoring tool. Using the the tagged images from the annotation tool, the automated monitoring tool is trained with AI to detect debris and species in ROV images. This helps to create faster and more accurate monitoring of underwater ecosystems.

Automated Monitoring Tool Demonstration

Squidle+ is an online annotation platform for marine imagery that is also a centralized data management platform. It supports different annotation schemes tailored to the marine domain with the ability to create new ones. It is also possible to do the annotations collaboratively.

Background on the Use of Automated Monitoring in the Svalbard Demo Site

In addition to integrating the imagery from Adventfjorden with Squidle+, a demo notebook was created to illustrate an analysis for the georeferenced imagery dataset collected by the Blueye X3 in June 2023 from the Adventfjorden as part of the efforts to study the impact of untreated sewage in the fjord. It also has a demo of how AI models could be used to classify images with visual debris as well as estimating the area of debris/objects of interest in the images.

Using Squidle+, Frequently Asked Questions

Q1: Which annotation scheme should I choose?

Q2: What are the different ways to explore data and export my media collection?

There are different ways to explore and export data. On the top of your dashboard, you will see two different ways of viewing your data. The first is the "Map" tab, which allows you to explore your data through a map of where different images were taken. You can then use the filters to the right to dive deeper into specific data.

The second option, also located at the top of your dashboard, is the "Media" tab, which allows you to search your data by individual images. You can once again use the filters on the right of the screen to find more specific data.

Once you have selected the data that you wish to export, click the "Save Selection" button, which appears in blue, below the filters on the right of the screen. This prompts you to export your data in the appropriate file type.

Q3: How do I create an annotation set for a media collection?

To create an annotation set for a media collection, you first need to open "Manage My Datasets".

Once in here, you will see your groups as well as public groups on the left hand side of the screen. Click which group your media collection is in.

Once you click your group, a list of media collections will appear in the center column. From this list, choose the media collection that you wish to make an annotation set for.

Lastly, after making your selection from the media collections, the button on the bottom right hand of the screen that says "New Annotation Set" should become clickable, allowing you to create the annotation set.

Q4: What are the different types of point layout method?

Q5: How do I view unlabeled images in a given annotation set?

When working in Squiddle+, you may be unable to find images that are not labeled in an annotation set. In this situation, go to the top of your image gallery where there will be a blue, "Filter/Sort" button just above the first pictures.

Here, you can click to drop down the filter menu and in the section "Filter by Label Status", click the "ALL Media - with and without labels" option.

Lastly, click the blue "Apply Filters" button at the bottom of the filter box then all images should appear in your library.

Q6: How do I filter the annotation set based on which camera was used?

When sorting through your images, it may be possible that you want to filter the annotation set based on which camera was utilized.

In this example, "camera 1" served as the forward facing camera and "camera 2" the back facing one. Knowing your camera label will be important when filtering for your images.

You will first need to go to the top of your image gallery where, above the first photos, you will see the blue "FILTER/SORT" button. Directly to the right is another filter button with three adjustable levers. Click this to open up a text box directly below.

This text box prompts for a code to filter which exact images you wish to see. To filter images only for a certain camera, use the code located below. Note that the code says "["which_camera","1"]". This gives direction for the code to filter for camera 1, which in this case, is the front facing camera.

{"filters":[{"name":"data","op":"df_eq","val":["which_camera","1"]}],"order_by":[{"field":"deployment_id","direction":"asc"},{"field":"timestamp_start","direction":"asc"}]}

After putting in this code, click the blue "Reload" button to the bottom right of the text box. This will then refresh the page with only your front facing camera images.

To retrieve the images from your back facing camera, simply do the same process, with the same code, but change your code from ["which_camera","1"] to ["which_camera","2"]. This prompts the system to look for all images from camera 2, labeled before as your back facing camera.

Q7: How do I add whole-frame annotations?

Whole frame annotations are used to provide an overall description of the entire image.

To create a whole frame annotation, you will

Select one or more points on your image
Navigate to the Annotate Panel on the right side of the screen.
In the "Label Scheme" tab, click the plus symbol. This will let you add additional whole-frame labels where more than one is required. See the image below to see what pops up when adding whole-frame annotations.

Accessing the Lab and BlueCloud

If you have NOT previously accessed the virtual lab

Step 1: Go to https://blue-cloud.d4science.org/explore to see the catalogue of virtual labs.

Step 2: Find the EcologicalRestorationLab and click "Access this VRE"

Step 3: Login with your credentials, otherwise Register for a new account. If registering a new account, make the account and come back to re-follow these steps and logging in.

Step 4: Upon arriving on the landing page, click the "Go To" tab on the top right hand corner. Then click the EcologicalRestorationLab.

If you have already added the virtual lab

Instructional Video

Other practical considerations for using Squidle+

Images stored on Squidle+ must be georeferenced

Depth and altitude are recommended

Dataset owners are responsible for data storage and ensuring it meets requirements

- See the requirements here

Datasets are not hosted on Squidle+, but an external repository

Contact the Squidle+ team for assistance importing datasets

Squidle+ is domain specific and supports different label schemes, in which you can make your own

Serves as a centralised data management system where datasets can be citable and accessible in the future

Personvernerklæring

Personvernerklæringen handler om hvordan denne nettsiden samler inn og bruker informasjon om besøkende. Erklæringen inneholder informasjon du har krav på når det samles inn opplysninger fra nettstedet vårt, og generell informasjon om hvordan vi behandler personopplysninger. Juridisk eier av nettsiden er behandlingsansvarlig for virksomhetens behandling av personopplysninger. Det er frivillig for de som besøker nettsidene å oppgi personopplysninger i forbindelse med tjenester som å motta nyhetsbrev og benytte del- og tipstjenesten. Behandlingsgrunnlaget er samtykke fra den enkelte, med mindre annet er spesifisert.

1. Webanalyse og informasjonskapsler (cookies)

Som en viktig del av arbeidet med å lage et brukervennlig nettsted, ser vi på brukermønsteret til de som besøker nettstedet. For å analysere informasjonen, bruker vi analyseverktøyet Google Analytics. Google Analytics bruker informasjonskapsler/cookies (små tekstfiler som nettstedet lagrer på brukerens datamaskin), som registrerer brukernes IP-adresse, og som gir informasjon om den enkelte brukers bevegelser på nett. Eksempler på hva statistikken gir oss svar på er; hvor mange som besøker ulike sider, hvor lenge besøket varer, hvilke nettsteder brukerne kommer fra og hvilke nettlesere som benyttes. Ingen av informasjonskapslene gjør at vi kan knytte informasjon om din bruk av nettstedet til deg som enkeltperson. Informasjonen som samles inn av Google Analytics, lagres på Googles servere i USA. Mottatte opplysninger er underlagt Googles retningslinjer for personvern. En IP-adresse er definert som en personopplysning fordi den kan spores tilbake til en bestemt maskinvare og dermed til en enkeltperson. Vi bruker Google Analytics sin sporingskode som anonymiserer IP-adressen før informasjonen lagres og bearbeides av Google. Dermed kan ikke den lagrede IP-adressen brukes til å identifisere den enkelte brukeren.

2. Søk

Hvis nettsiden har søkefunksjon så lagrer informasjon om hvilke søkeord brukerne benytter i Google Analytics. Formålet med lagringen er å gjøre informasjonstilbudet vårt bedre. Bruksmønsteret for søk lagres i aggregert form. Det er bare søkeordet som lagres, og de kan ikke kobles til andre opplysninger om brukerne, slik som til IP-adressene.

3. Del/tips-tjenesten

Funksjonen "Del med andre" kan brukes til å videresende lenker til nettstedet på e-post, eller til å dele innholdet på sosiale nettsamfunn. Opplysninger om tips logges ikke hos oss, men brukes kun der og da til å legge inn tipset hos nettsamfunnet. Vi kan imidlertid ikke garantere at nettsamfunnet ikke logger disse opplysningene. Alle slike tjenester bør derfor brukes med vett. Dersom du benytter e-postfunksjonen, bruker vi bare de oppgitte e-postadressene til å sende meldingen videre uten noen form for lagring.

4. Nyhetsbrev

Nettsiden kan sende ut nyhetsbrev via epost hvis du har registrert deg for å motta dette. For at vi skal kunne sende e-post må du registrere en e-postadresse. Mailchimp er databehandler for nyhetsbrevet. E-postadressen lagres i en egen database, deles ikke med andre og slettes når du sier opp abonnementet. E-postadressen slettes også om vi får tilbakemelding om at den ikke er aktiv.

5. Påmelding, skjema

Nettsiden kan ha skjema for påmelding, kontaktskjema eller andre skjema. Disse skjemaene er tilgjengeliggjort for publikum for å utføre de oppgaver de er ment å gjøre. Påmeldingsskjema er for at besøkende kan melde seg på eller registrere seg. Kontaktskjema er for at besøkende enkelt kan sende en melding til nettsidens kontaktperson. Vi ber da om navnet på innsender og kontaktinformasjon til denne. Personopplysninger vi mottar blir ikke benyttet til andre formål enn å svare på henvendelsen. Skjema sendes som epost via Mailgun som tredjepartsløsning. Hele innsendelen blir lagret hos Mailgun i 24 timer. Mellom 24 timer og 30 dager er det kun mailheader som blir oppbevart før innsendelsen blir slettet etter 30 dager. Årsaken til denne lagringen er for å bekrefte om eposter blir sendt fra nettsiden og videresendt til riktig mottaker. Når eposten er mottatt av mottaker så er det opp til mottaker å avgjøre Databehandlingsbehovet av eposten.

6. Side- og tjenestefunksjonalitet

Det blir brukt informasjonskapsler i drift og presentasjon av data fra nettsteder. Slike informasjonskapsler kan inneholde informasjon om språkkode for språk valgt av brukeren. Det kan være informasjonskapsler med informasjon som støtter om lastbalanseringen av systemet slik at alle brukere blir sikret en best mulig opplevelse. Ved tjenester som krever innlogging eller søk kan det bli brukt informasjonskapsler som sikrer at tjenesten presenterer data til rett mottaker.

7. Hvordan håndtere informasjonskapsler i din nettleser

På www.nettvett.no kan du lese om hvordan du stiller inn nettleseren for å godta/avvise informasjonskapsler, og få tips til sikrere bruk av internett.

Automated Monitoring