Introducing FathomNet: New open-source image database unlocks the power of AI for ocean exploration

ENG: FathomNet is an open-source image database that uses state-of-the-art data processing algorithms to help process the backlog of visual data. Using artificial intelligence and machine learning will alleviate the bottleneck for analyzing underwater imagery and accelerate important research around ocean health.

Recent advances in machine learning enable fast, sophisticated analysis of visual data, but the use of artificial intelligence in ocean research has been limited by the lack of a standard set of existing images that could be used to train the machines to recognize and catalog underwater objects and life. FathomNet addresses this need by aggregating images from multiple sources to create a publicly available, expertly curated underwater image training database.

Over the past 35 years, MBARI (Monterey Bay Aquarium Research Instituted) has recorded nearly 28,000 hours of deep-sea video and collected more than 1 million deep-sea images. This trove of visual data has been annotated in detail by research technicians in MBARI’s Video Lab. MBARI’s video archive includes approximately 8.2 million annotations that record observations of animals, habitats, and objects. This rich dataset is an invaluable resource for researchers at the institute and collaborators around the world.

As an open-source web-based resource, other institutions can contribute to and use FathomNet instead of traditional, resource-intensive efforts to process and analyze visual data. MBARI launched a pilot program to use FathomNet-trained machine-learning models to annotate video captured by remotely operated underwater vehicles (ROVs). Using AI algorithms reduced human effort by 81 percent and increased the labeling rate tenfold. Machine-learning models trained with FathomNet data also have the potential for revolutionizing ocean exploration and monitoring. For example, outfitting robotic vehicles with cameras and improved machine-learning algorithms can eventually enable automated search and tracking of marine animals and other underwater objects.

RO: FathomNet este o bază de date de imagini cu acces liber, care utilizează algoritmi de ultimă generație de procesare a datelor pentru a ajuta la analiza datelor vizuale acumulate. Folosirea inteligenței artificiale și a învățării automate va atenua blocajul în ceea ce privește analiza imaginilor subacvatice și va accelera cercetările importante privind sănătatea oceanelor.

Progresele recente în domeniul învățării automate permit o analiză rapidă și sofisticată a datelor vizuale, dar utilizarea inteligenței artificiale în cercetarea oceanică a fost limitată de lipsa unui set standard de imagini existente care ar putea fi utilizate pentru a antrena algoritmii să recunoască și să catalogheze obiectele și viața subacvatică. FathomNet răspunde acestei nevoi prin agregarea de imagini din mai multe surse pentru a crea o bază de date care conține imagini subacvatice, disponibilă publicului și curatoriată de experți.

În ultimii 35 de ani, MBARI (Institutul de Cercetare al Acvariului din Monterey Bay) a colectat aproape 28.000 de ore de înregistrări video la mare adâncime și a colectat mai mult de 1 milion de imagini din oceane. Acest tezaur de date vizuale a fost adnotat în detaliu de către tehnicienii de cercetare din laboratorul video al MBARI. Arhiva include aproximativ 8,2 milioane de adnotări care înregistrează observații ale animalelor, habitatelor și obiectelor oceanine. Acest set bogat de date reprezintă o resursă neprețuită pentru cercetătorii de la institut și pentru colaboratorii din întreaga lume.

Fiind o resursă cu acces liber, și alte instituții pot contribui la FathomNet și îl pot utiliza în locul metodelor tradiționale, care necesită multe resurse de procesare și analiză a datelor vizuale. MBARI a lansat un program pilot pentru a utiliza modele de învățare automată antrenate de FathomNet pentru a adnota înregistrările video capturate de vehiculele subacvatice operate de la distanță. Utilizarea algoritmilor de inteligență artificială a redus efortul uman cu 81% și a crescut de zece ori rata de etichetare. Modelele de învățare automată antrenate cu datele FathomNet au, de asemenea, potențialul de a revoluționa explorarea și monitorizarea oceanelor. De exemplu, echiparea vehiculelor robotizate cu camere de luat vederi și algoritmi îmbunătățiți de învățare automată poate permite, în cele din urmă, căutarea și urmărirea automată a animalelor marine și a altor obiecte subacvatice.

Source (MBARI – Monterey Bay Aquarium Research Institute, “Introducing FathomNet: New open-source image database unlocks the power of AI for ocean exploration”, 18.10.2022)

Paper: Katija, K., Orenstein, E., Schlining, B., Lundsten, L., Barnard, K., Sainz, G., Boulais, O., Cromwell, M., Butler, E., Woodward, B. and Bell, K.L., 2022. FathomNet: A global image database for enabling artificial intelligence in the ocean. Scientific reports12(1), pp.1-14.