Conference Paper: A Critical Evaluation of Aerial Datasets for Semantic Segmentation

 2020 IEEE 16th International Conference on Intelligent Computer Communication and Processing (ICCP 2020)

Abstract: Drone perception systems use information from sensor fusion to perform tasks like object detection and tracking, visual localization and mapping, trajectory planning, and autonomous navigation. Applying these functions in real environments is a complex problem due to three-dimensional structures like trees, buildings, or bridges since the sensors (usually cameras) have limited viewpoints. We are interested in creating an application that is aimed towards inspection of forests with a focus on deforestation, with the main objectives being building a 3D semantic map of the environment and visual inspection of trees. In this paper, we evaluate three new datasets recorded at various flight altitudes, in terms of class balance, training performance on the semantic segmentation task, and the ability to transfer knowledge from one set to another. Our findings showcase the strengths of these datasets, while also pointing out their shortcomings, and offering future development ideas and raising research questions.

Paper download link: A Critical Evaluation of Aerial Datasets for Semantic Segmentation

ResearchGate

Recunoașterea internațională a cercetării și inovării din Universitatea Tehnică din Cluj-Napoca (The Champions League of Autonomous Driving)

Articol preluat de pe site-ul Universității Tehnice din Cluj-Napoca

În tehnologia prezentului, funcțiile de asistare a conducerii precum “Lane Assist” și “Adaptive Cruise Control (ACC)” garantează o siguranță mai mare atunci când se circulă pe autostrăzi sau străzi principale. Conducerea autonomă, în special în zone urbane, reprezintă o provocare complet diferită. Provocările sunt mult mai numeroase și dificil de soluționat. În cadrul proiectului „Automated Urban Parking and Driving – UP-Drive”, de tip Orizont 2020, finanțat de Comisia Europeană, membrii consorțiului format din Volkswagen AG, Universitatea Tehnică din Cluj-Napoca (UTCN) Universitatea Tehnică din Praga, ETH Zurich și IBM Research Zurich, au colaborat pentru a oferi o soluție conducerii autonome în mediul urban.

Acest consorțiu format din companii și universități și-a propus să accelereze dezvoltarea
conducerii autonome – investigând, propunând și utilizând soluții bazate pe noile soluții
din domeniul inteligenței artificiale (AI). Arhitectura soluției propuse include: un vehicul electric dotat cu senzorii și actuatorii necesari pentru controlul digital dezvoltat de Volkswagen; infrastructura de comunicație necesară includerii vehiculului într-un sistem de tip „cloud” pentru întreținerea și utilizarea continuă a hărții detaliate a mediului dezvoltat de IBM Zurich; modulul de percepție senzorială având rolul furnizării unei descrieri 3D a mediului dezvoltat de UTCN; modulul de localizare și mapare continuă dezvoltat de ETH Zurich; modulul de înțelegere a scenei dezvoltat de UT Praga și modulul de planificare și navigare dezvoltat de Volkswagen.

Responsabilitatea specifică a UTCN în cadrul proiectului a fost percepția senzorială pentru crearea unei reprezentări 3D a mediului. Această reprezentare este folosită atât de modulele de localizare și înțelegere a scenei cât și direct de modulul de planificare și navigare.

Echipa de cercetare din cadrul UTCN a dezvoltat o soluție originală de percepție cu următoarele caracteristici importante: calibrare de mare acuratețe, acoperire senzorială de 360 grade, acoperire senzorială redundantă cu senzori de tip camere color, RADAR-e și LiDAR-e, redundanță algoritmică, utilizarea metodelor de învățare profundă pentru obținerea unor algoritmi mai robuști.

O contribuție importantă adusă de UTCN a fost definirea și implementarea unei reprezentări intermediare a mediului prin fuziunea datelor geometrice furnizate de senzorii 3D cu informația semantică extrasă din imagini obținându-se astfel un nor de puncte 3D semantic. Această reprezentare permite implementarea unor soluții de  detecție, clasificare și urmărire a obiectelor în spațiul 3D superioare calitativ soluțiilor bazate pe senzorii individuali sau soluțiilor bazate pe fuziunea detecțiilor senzorilor individuali.

O altă contribuție importantă se referă la studiul, dezvoltarea și utilizarea metodelor de învățare profundă, cunoscute si sub numele de „Deep Learning”, pentru implementarea algoritmilor de segmentare semantică, detecție și clasificare a obiectelor în spațiul 2D furnizând astfel informație semantică de calitate pentru asocierea cu informația geometrică furnizată de senzorii 3D.

Proiectarea, implementarea, testarea, validarea și integrarea sistemului de percepție pe vehicul cu satisfacerea cerințelor de acuratețe și timp real a permis atingerea obiectivelor proiectului prin materializarea și experimentarea vehiculului autonom. În 27 noiembrie 2019 la Wolfsburg, Germania a avut loc prezentarea publica a vehiculului. O sinteză a evenimentului este disponibilă pe youtube.

Grupul Volkswagen în articolul publicat pe site-ul propriu cataloghează realizarea ca intrarea consorțiului în „The Champions League of Autonomous Driving”. Activitatea de cercetare a UTCN a fost desfășurată în cadrul Centrului de Cercetare pentru Procesare de Imagine si Recunoașterea Formelor, din cadrul Departamentului de Calculatoare al Facultății de Automatică și Calculatoare, sub îndrumarea Prof. Dr. Ing. Sergiu Nedevschi.

Echipa de cercetători a fost formată din: Conf. Dr. Ing. Florin Oniga, Conf. Dr. Ing. Tiberiu Marița, Conf. Dr. Mat. Ioan Radu Peter, S.L. Dr. Ing. Ion Giosan, S.L. Dr. Ing. Robert Varga, Dr. Ing. Arthur Costea, Drd ing. Andra Petrovai, Drd. ing. Flaviu Vancea, Drd ing. Horațiu Florea, Drd. Ing. Vlad Miclea, Drd. Ing. Mircea Paul Mureșan, Drd. ing. Zelia Blaga si masterand ing. Selma Goga.

Conference Paper: DAR: Implementation of a Drone Augmented Reality Video Game

dar-page1.png

Abstract: Augmented reality video games combine the elements of a virtual application with those of the real world. With the recent advances in technology, this type of digital content is easily available to users. The player experience is enhanced by bringing the virtual experience to the world around us, and new interaction techniques emerge. We propose a video game in which the user controls a virtual drone which interacts with objects situated in a real environment. We present the development methodology that we followed in order to bring this project to life, from the early stages of topic selection to implementation details, and finally to the evaluation step.

Paper download link: DAR: Implementation of a Drone Augmented Reality Video Game

ResearchGate link: paper

Conference Paper: Semantic Segmentation Learning for Autonomous UAVs using Simulators and Real Data

sos

Abstract: Deep learning requires large amounts of data for training models. For the task of semantic segmentation, manual annotation is time-consuming and difficult. With the recent advances in game engines, simulators have become more popular as they can instantly generate ground truth data for multiple sensors. In this paper, we make a thorough survey of the most recent and popular simulators and synthetic datasets, exploring solutions for semantic segmentation on images taken from drones. We also propose an extension of the CARLA simulator by introducing an aerial camera. We evaluate a deep learning model trained on both synthetic and real data and present a new dataset which comprises both.

Paper download link: Semantic Segmentation Learning for Autonomous UAVs using Simulators and Real Data

ResearchGate link: paper