Weakly Supervised Semantic Segmentation Learning on UAV Video Sequences

Paper: B.C.Z. Blaga and S. Nedevschi, “Weakly Supervised Semantic Segmentation Learning on UAV Video Sequences,” 2021 29th European Signal Processing Conference (EUSIPCO), 2021, pp. 731-735, doi: 10.23919/EUSIPCO54536.2021.9616055.

Available on IEEExplore and EURASIP.

Abstract: The domain of scene understanding from Unmanned Aerial Vehicles (UAVs) is of high interest for researchers in the computer vision domain, since it can be used for object detection and tracking in scenarios like deforestation monitoring, traffic surveillance, or for civil engineering tasks. However, the topic of dense video segmentation from drones has been insufficiently explored due to the lack of annotated ground truth data. We propose a solution based on a framework composed of a deep neural network for semantic segmentation and an optical flow generator, linked together by a spatio-temporal GRU component to efficiently solve the problem of weakly supervised semantic segmentation of video sequences recorded from UAVs. The novelty of our work comes from the employment of depthwise separable convolutions for the GRU component, which decrease the computation time and increase the segmentation accuracy. We test our methodology on the synthetic dataset Mid-Air, for low-altitude drone flight, and report results that prove the usefulness of the proposed system.

Rezumat: Domeniul înțelegerii scenei din vehiculele aeriene fără pilot (UAV) este de mare interes pentru cercetătorii din domeniul vederii computerizate, deoarece poate fi utilizat pentru detectarea și urmărirea obiectelor în scenarii precum monitorizarea defrișărilor, supravegherea traficului sau pentru sarcini de inginerie civilă. Cu toate acestea, subiectul segmentării video dense din drone a fost insuficient explorat din cauza lipsei de date adnotate. Propunem o soluție bazată pe un cadru compus dintr-o rețea neuronală profundă pentru segmentarea semantică și un generator de flux optic, legate între ele printr-o componentă spațio-temporală GRU pentru a rezolva eficient problema segmentării semantice slab supravegheate a secvențelor video înregistrate de drone. Noutatea lucrării noastre provine din utilizarea convoluțiilor separabile în adâncime pentru componenta GRU, care reduc timpul de calcul și cresc precizia segmentării. Testăm metodologia noastră pe setul de date sintetice Mid-Air, pentru zborul dronelor la altitudine joasă, și raportăm rezultate care dovedesc utilitatea sistemului propus.

The Incomprehensible Scale of 52!

ENG:

Video description: One of my favorite fun facts to share with someone is how no matter how implausible it seems, every time you shuffle a deck of cards, you’ve produced a sequence of cards that has never existed before. As unique as each individual order of cards is, more so is the person you are. Not even considering the genetic possibilities for a person but the life decisions and experiences you’ve encountered throughout. You may not feel it. But it’s pretty crazy that you exist.

RO:

Descriere video: Una dintre anectodetele mele preferate pe care doresc să o împărtășesc este că, indiferent cât de neverosimil pare, de fiecare dată când amesteci un pachet de cărți, ai produs o secvență de cărți care nu a mai existat niciodată. Pe cât de unică este fiecare ordine individuală a cărților, pe atât de unic ești și tu. Nu luăm în considerare nici măcar posibilitățile genetice ale unei persoane, ci deciziile și experiențele de viață pe care le-ai întâlnit de-a lungul timpului. S-ar putea să nu o simți. Dar faptul că exiști este destul de nebunesc.

Exercise Alters Brain Chemistry to Protect Aging Synapses

ENG: When elderly people stay active, their brains have more of a class of proteins that enhances the connections between neurons to maintain healthy cognition, a new study has found. This protective impact was found even in people whose brains at autopsy were riddled with toxic proteins associated with Alzheimer’s and other neurodegenerative diseases.

Credit: Harvard Medical School

Casaletto, a neuropsychologist and member of the UCSF Weill Institute for Neurosciences, worked with William Honer, MD, a professor of psychiatry at the University of British Columbia and senior author of the study, to leverage data from the Memory and Aging Project at Rush University in Chicago. That project tracked the late-life physical activity of elderly participants, who also agreed to donate their brains when they died.

Honer and Casaletto found that elderly people who remained active had higher levels of proteins that facilitate the exchange of information between neurons. This result dovetailed with Honer’s earlier finding that people who had more of these proteins in their brains when they died were better able to maintain their cognition late in life. To their surprise, Honer said, the researchers found that the effects ranged beyond the hippocampus, the brain’s seat of memory, to encompass other brain regions associated with cognitive function.

RO: Un nou studiu a constatat că atunci când persoanele în vârstă rămân active, creierul lor are o cantitate mai mare dintr-o clasă de proteine care îmbunătățește conexiunile dintre neuroni pentru a menține o cogniție sănătoasă. Acest impact protector a fost constatat chiar și la persoanele ale căror creiere, la autopsie, erau pline de proteine toxice asociate cu Alzheimer și alte boli neurodegenerative.

Casaletto, neuropsiholog și membru al UCSF Weill Institute for Neurosciences, a colaborat cu William Honer, MD (Doctor of Medicine), profesor de psihiatrie la Universitatea din British Columbia și autor principal al studiului, pentru a valorifica datele de la Proiectul Memoria și Îmbătrânirea de la Universitatea Rush din Chicago. Acel proiect a urmărit activitatea fizică la sfârșitul vieții participanților vârstnici, care au fost de acord, de asemenea, să își doneze creierul atunci când vor muri.

Honer și Casaletto au descoperit că persoanele în vârstă care au rămas active aveau niveluri mai ridicate de proteine care facilitează schimbul de informații între neuroni. Acest rezultat se potrivește cu descoperirea anterioară a lui Honer, conform căreia persoanele care aveau mai multe proteine de acest tip în creier la momentul decesului erau mai capabile să își mențină mai bine cogniția la sfârșitul vieții. Spre surprinderea lor, a spus Honer, cercetătorii au descoperit că efectele au depășit hipocampul, sediul memoriei din creier, pentru a cuprinde alte regiuni ale creierului asociate cu funcția cognitivă.

Source (University of California San Francisco, Robin Marks, Exercise Alters Brain Chemistry to Protect Aging Synapses, 7 January 2022.)

Paper: Casaletto, K., Ramos‐Miguel, A., VandeBunte, A., Memel, M., Buchman, A., Bennett, D. and Honer, W., 2022. Late‐life physical activity relates to brain tissue synaptic integrity markers in older adults. Alzheimer’s & Dementia.

Image source: Carapeto, P.V. and Aguayo-Mazzucato, C., 2021. Effects of exercise on cellular and tissue aging. Aging (Albany NY)13(10), p.14522.

Razer’s Project Sophia

ENG: At the CES 2022 (Consumer Electronics Show), Razer presented Project Sophia, a concept for a computer that is a desk with embedded modular components. This concept would allow users to swap parts and modules like displays, USB hubs or wireless chargers. It’s not the first time the company’s tried to make the PC more modular—last year, it showed off a more practical design using Intel’s miniature NUC, essentially a tiny CPU and motherboard combo. And its 2014 PC concept, Project Christine, gave us a glimpse at a possible PC future that made upgrading major components very easy.

What ultimately makes Project Sophia different than the best PC case desks are its modules. Users will have up to 13 different modules available when reconfiguring their Project Sophia machine, and these modules are compatible with everything from touchscreen digitizers and tablets to advanced speakers and monitors. Some other components and peripherals that the modules will work with include cameras, microphones, wireless chargers, and even cup warmers. Project Sophia is also lined with Chroma RGB lighting and comes with a built-in OLED display that’s available at either 65 inches or 77 inches.

RO: În cadrul CES 2022 (Consumer Electronics Show), Razer a prezentat Project Sophia, un concept de computer care este un birou cu componente modulare încorporate. Acest concept ar permite utilizatorilor să schimbe piese și module, cum ar fi ecrane, hub-uri USB sau încărcătoare wireless. Nu este prima dată când compania a încercat să facă PC-ul mai modular – anul trecut, a prezentat un design mai practic folosind NUC miniatural de la Intel, în esență o combinație minusculă de CPU și placă de bază. Iar conceptul său de PC din 2014, Project Christine, ne-a oferit o privire asupra unui posibil viitor al PC-ului care făcea ca actualizarea componentelor majore să fie foarte ușoară.

Ceea ce face în cele din urmă ca Project Sophia să fie diferit de cele mai bune PC de birou cu carcasă sunt modulele sale. Utilizatorii vor avea la dispoziție până la 13 module diferite atunci când își reconfigurează aparatul Project Sophia, iar aceste module sunt compatibile cu orice, de la digitizoare cu ecran tactil și tablete până la difuzoare și monitoare avansate. Printre alte componente și periferice cu care modulele vor funcționa se numără camere, microfoane, încărcătoare wireless și chiar încălzitoare de pahare. Project Sophia este, de asemenea, căptușit cu iluminare Chroma RGB și vine cu un ecran OLED încorporat, disponibil la 65 sau 77 de inci.

Source 1 (Time, Patrick Lucas Austin, The 10 Best Gadgets of CES 2022, 7 January 2022)

Source 2 (Windows Central, Brendan Lowry, Razer’s ‘Project Sophia’ is a must-see concept desk for gaming in the future, 5 January 2022)

Microscopic camera the size of a grain of salt

ENG: Despite being the size of a grain of salt, a new microscopic camera can capture crisp, full-colour images on par with normal lenses that are 500,000 times larger. The ultra-compact optical device was developed by a team of researchers from Princeton University and the University of Washington.

The tiny camera relies on a special ‘metasurface’ studded with 1.6 million cylindrical posts — each the size of a single HIV virus — which can modulate the behaviour of light. Each of the posts on the 0.5-millimetre-wide surface has a unique shape that allows it to operate like an antenna. Machine-learning based signal processing algorithms then interpret the post’s interaction with light, transforming it into an image. The photographs that the tiny device takes offer the highest-quality images with the widest field of view for any full-colour metasurface camera developed to date.

According to the researchers, the camera could be used in small-scale robots, where size and weight constraints make traditional cameras difficult to implement. The optical metasurface could also be used to improve minimally-invasive endoscopic devices, allowing doctors to better see inside of patients in order to diagnose and treat diseases. Felix Heide, an author of the study, also suggests the camera could be used to turn surfaces into sensors with ultra-high resolution.  ‘You wouldn’t need three cameras on the back of your phone anymore, but the whole back of your phone would become one giant camera,’ he explained.

RO: În ciuda faptului că este de mărimea unui grăunte de sare, o nouă cameră microscopică poate capta imagini clare, în culori vii, la fel ca obiectivele normale, care sunt de 500.000 de ori mai mari. Dispozitivul optic ultra-compact a fost dezvoltat de o echipă de cercetători de la Universitatea Princeton și de la Universitatea din Washington.

Micuța cameră se bazează pe o “metasuprafață” specială, presărată cu 1,6 milioane de stâlpi cilindrici – fiecare de mărimea unui singur virus HIV – care pot modula comportamentul luminii. Fiecare dintre stâlpii de pe suprafața cu o lățime de 0,5 milimetri are o formă unică care îi permite să funcționeze ca o antenă. Algoritmii de procesare a semnalelor bazate pe învățare automată interpretează apoi interacțiunea stâlpului cu lumina, transformând-o într-o imagine. Fotografiile pe care le realizează micul dispozitiv oferă imagini de cea mai bună calitate, cu cel mai larg câmp vizual pentru orice cameră de tip metasuprafață color dezvoltată până în prezent.

Potrivit cercetătorilor, camera ar putea fi utilizată în roboți de mici dimensiuni, unde constrângerile legate de mărime și greutate fac dificilă utilizarea camerelor tradiționale. De asemenea, metasuprafața optică ar putea fi utilizată pentru a îmbunătăți dispozitivele endoscopice minim-invazive, permițând medicilor să vadă mai bine interiorul pacienților pentru a diagnostica și trata bolile. Felix Heide, unul dintre autorii studiului, sugerează, de asemenea, că această cameră ar putea fi folosită pentru a transforma suprafețele în senzori cu rezoluție ultra-înaltă.  ‘Nu ați mai avea nevoie de trei camere pe spatele telefonului, ci întreaga parte din spate a telefonului ar deveni o cameră gigantică’, a explicat el.

Source (Ian Randall, DailyMail, Say cheese! Microscopic camera the size of a grain of SALT is developed that can produce crisp, full-colour images ‘on par with lenses 500,000 times larger’)