Weakly Supervised Semantic Segmentation Learning on UAV Video Sequences

Paper: B.C.Z. Blaga and S. Nedevschi, “Weakly Supervised Semantic Segmentation Learning on UAV Video Sequences,” 2021 29th European Signal Processing Conference (EUSIPCO), 2021, pp. 731-735, doi: 10.23919/EUSIPCO54536.2021.9616055.

Available on IEEExplore and EURASIP.

Abstract: The domain of scene understanding from Unmanned Aerial Vehicles (UAVs) is of high interest for researchers in the computer vision domain, since it can be used for object detection and tracking in scenarios like deforestation monitoring, traffic surveillance, or for civil engineering tasks. However, the topic of dense video segmentation from drones has been insufficiently explored due to the lack of annotated ground truth data. We propose a solution based on a framework composed of a deep neural network for semantic segmentation and an optical flow generator, linked together by a spatio-temporal GRU component to efficiently solve the problem of weakly supervised semantic segmentation of video sequences recorded from UAVs. The novelty of our work comes from the employment of depthwise separable convolutions for the GRU component, which decrease the computation time and increase the segmentation accuracy. We test our methodology on the synthetic dataset Mid-Air, for low-altitude drone flight, and report results that prove the usefulness of the proposed system.

Rezumat: Domeniul înțelegerii scenei din vehiculele aeriene fără pilot (UAV) este de mare interes pentru cercetătorii din domeniul vederii computerizate, deoarece poate fi utilizat pentru detectarea și urmărirea obiectelor în scenarii precum monitorizarea defrișărilor, supravegherea traficului sau pentru sarcini de inginerie civilă. Cu toate acestea, subiectul segmentării video dense din drone a fost insuficient explorat din cauza lipsei de date adnotate. Propunem o soluție bazată pe un cadru compus dintr-o rețea neuronală profundă pentru segmentarea semantică și un generator de flux optic, legate între ele printr-o componentă spațio-temporală GRU pentru a rezolva eficient problema segmentării semantice slab supravegheate a secvențelor video înregistrate de drone. Noutatea lucrării noastre provine din utilizarea convoluțiilor separabile în adâncime pentru componenta GRU, care reduc timpul de calcul și cresc precizia segmentării. Testăm metodologia noastră pe setul de date sintetice Mid-Air, pentru zborul dronelor la altitudine joasă, și raportăm rezultate care dovedesc utilitatea sistemului propus.

Conference Paper: A Critical Evaluation of Aerial Datasets for Semantic Segmentation

 2020 IEEE 16th International Conference on Intelligent Computer Communication and Processing (ICCP 2020)

Abstract: Drone perception systems use information from sensor fusion to perform tasks like object detection and tracking, visual localization and mapping, trajectory planning, and autonomous navigation. Applying these functions in real environments is a complex problem due to three-dimensional structures like trees, buildings, or bridges since the sensors (usually cameras) have limited viewpoints. We are interested in creating an application that is aimed towards inspection of forests with a focus on deforestation, with the main objectives being building a 3D semantic map of the environment and visual inspection of trees. In this paper, we evaluate three new datasets recorded at various flight altitudes, in terms of class balance, training performance on the semantic segmentation task, and the ability to transfer knowledge from one set to another. Our findings showcase the strengths of these datasets, while also pointing out their shortcomings, and offering future development ideas and raising research questions.

Paper download link: A Critical Evaluation of Aerial Datasets for Semantic Segmentation

ResearchGate

Recunoașterea internațională a cercetării și inovării din Universitatea Tehnică din Cluj-Napoca (The Champions League of Autonomous Driving)

Articol preluat de pe site-ul Universității Tehnice din Cluj-Napoca

În tehnologia prezentului, funcțiile de asistare a conducerii precum “Lane Assist” și “Adaptive Cruise Control (ACC)” garantează o siguranță mai mare atunci când se circulă pe autostrăzi sau străzi principale. Conducerea autonomă, în special în zone urbane, reprezintă o provocare complet diferită. Provocările sunt mult mai numeroase și dificil de soluționat. În cadrul proiectului „Automated Urban Parking and Driving – UP-Drive”, de tip Orizont 2020, finanțat de Comisia Europeană, membrii consorțiului format din Volkswagen AG, Universitatea Tehnică din Cluj-Napoca (UTCN) Universitatea Tehnică din Praga, ETH Zurich și IBM Research Zurich, au colaborat pentru a oferi o soluție conducerii autonome în mediul urban.

Acest consorțiu format din companii și universități și-a propus să accelereze dezvoltarea
conducerii autonome – investigând, propunând și utilizând soluții bazate pe noile soluții
din domeniul inteligenței artificiale (AI). Arhitectura soluției propuse include: un vehicul electric dotat cu senzorii și actuatorii necesari pentru controlul digital dezvoltat de Volkswagen; infrastructura de comunicație necesară includerii vehiculului într-un sistem de tip „cloud” pentru întreținerea și utilizarea continuă a hărții detaliate a mediului dezvoltat de IBM Zurich; modulul de percepție senzorială având rolul furnizării unei descrieri 3D a mediului dezvoltat de UTCN; modulul de localizare și mapare continuă dezvoltat de ETH Zurich; modulul de înțelegere a scenei dezvoltat de UT Praga și modulul de planificare și navigare dezvoltat de Volkswagen.

Responsabilitatea specifică a UTCN în cadrul proiectului a fost percepția senzorială pentru crearea unei reprezentări 3D a mediului. Această reprezentare este folosită atât de modulele de localizare și înțelegere a scenei cât și direct de modulul de planificare și navigare.

Echipa de cercetare din cadrul UTCN a dezvoltat o soluție originală de percepție cu următoarele caracteristici importante: calibrare de mare acuratețe, acoperire senzorială de 360 grade, acoperire senzorială redundantă cu senzori de tip camere color, RADAR-e și LiDAR-e, redundanță algoritmică, utilizarea metodelor de învățare profundă pentru obținerea unor algoritmi mai robuști.

O contribuție importantă adusă de UTCN a fost definirea și implementarea unei reprezentări intermediare a mediului prin fuziunea datelor geometrice furnizate de senzorii 3D cu informația semantică extrasă din imagini obținându-se astfel un nor de puncte 3D semantic. Această reprezentare permite implementarea unor soluții de  detecție, clasificare și urmărire a obiectelor în spațiul 3D superioare calitativ soluțiilor bazate pe senzorii individuali sau soluțiilor bazate pe fuziunea detecțiilor senzorilor individuali.

O altă contribuție importantă se referă la studiul, dezvoltarea și utilizarea metodelor de învățare profundă, cunoscute si sub numele de „Deep Learning”, pentru implementarea algoritmilor de segmentare semantică, detecție și clasificare a obiectelor în spațiul 2D furnizând astfel informație semantică de calitate pentru asocierea cu informația geometrică furnizată de senzorii 3D.

Proiectarea, implementarea, testarea, validarea și integrarea sistemului de percepție pe vehicul cu satisfacerea cerințelor de acuratețe și timp real a permis atingerea obiectivelor proiectului prin materializarea și experimentarea vehiculului autonom. În 27 noiembrie 2019 la Wolfsburg, Germania a avut loc prezentarea publica a vehiculului. O sinteză a evenimentului este disponibilă pe youtube.

Grupul Volkswagen în articolul publicat pe site-ul propriu cataloghează realizarea ca intrarea consorțiului în „The Champions League of Autonomous Driving”. Activitatea de cercetare a UTCN a fost desfășurată în cadrul Centrului de Cercetare pentru Procesare de Imagine si Recunoașterea Formelor, din cadrul Departamentului de Calculatoare al Facultății de Automatică și Calculatoare, sub îndrumarea Prof. Dr. Ing. Sergiu Nedevschi.

Echipa de cercetători a fost formată din: Conf. Dr. Ing. Florin Oniga, Conf. Dr. Ing. Tiberiu Marița, Conf. Dr. Mat. Ioan Radu Peter, S.L. Dr. Ing. Ion Giosan, S.L. Dr. Ing. Robert Varga, Dr. Ing. Arthur Costea, Drd ing. Andra Petrovai, Drd. ing. Flaviu Vancea, Drd ing. Horațiu Florea, Drd. Ing. Vlad Miclea, Drd. Ing. Mircea Paul Mureșan, Drd. ing. Zelia Blaga si masterand ing. Selma Goga.

Conference Paper: DAR: Implementation of a Drone Augmented Reality Video Game

dar-page1.png

Abstract: Augmented reality video games combine the elements of a virtual application with those of the real world. With the recent advances in technology, this type of digital content is easily available to users. The player experience is enhanced by bringing the virtual experience to the world around us, and new interaction techniques emerge. We propose a video game in which the user controls a virtual drone which interacts with objects situated in a real environment. We present the development methodology that we followed in order to bring this project to life, from the early stages of topic selection to implementation details, and finally to the evaluation step.

Paper download link: DAR: Implementation of a Drone Augmented Reality Video Game

ResearchGate link: paper