ENG: Data collected by remote-sensing satellites is fundamental for many key activities, including aerial mapping, weather prediction, and monitoring deforestation. Currently, most satellites can only passively collect data, since they are not equipped to make decisions or detect changes. Instead, data has to be relayed to Earth to be processed, which typically takes several hours or even days. This limits the ability to identify and respond to rapidly emerging events, such as a natural disaster.
To overcome these restrictions, a group of researchers led by Doctor of Philosophy student Vít Růžička (Department of Computer Science, University of Oxford), took on the challenge of training the first machine learning program in outer space. During 2022, the team successfully pitched their idea to the Dashing through the Stars mission, which had issued an open call for project proposals to be carried out on board the ION SCV004 satellite, launched in January 2022. During the autumn of 2022, the team uplinked the code for the program to the satellite already in orbit.
The researchers trained a simple model to detect changes in cloud cover from aerial images directly onboard the satellite, in contrast to training on the ground. The model was based on an approach called few-shot learning, which enables a model to learn the most important features to look for when it has only a few samples to train from. A key advantage is that the data can be compressed into smaller representations, making the model faster and more efficient. Whilst the first part of the model, to compress the newly-seen images, was trained on the ground, the second part, which decided whether the image contained clouds or not, was trained directly on the satellite.
Normally, developing a machine learning model would require several rounds of training, using the power of a cluster of linked computers. In contrast, the team’s tiny model completed the training phase (using over 1300 images) in around one and a half seconds. When the team tested the model’s performance on novel data, it automatically detected whether a cloud was present or not in around a tenth of a second. This involved encoding and analysing a scene equivalent to an area of about 4.8 x 4.8 km2 area (equivalent to almost 450 football pitches).
RO: Datele colectate de sateliții de teledetecție sunt fundamentale pentru multe activități cheie, care includ cartografierea aeriană, prognoza meteo și monitorizarea defrișărilor. În prezent, majoritatea sateliților pot colecta date doar în mod pasiv, deoarece nu sunt echipați pentru a lua decizii sau pentru a detecta schimbări. În schimb, datele trebuie să fie retransmise pe Pământ pentru a fi procesate, ceea ce durează de obicei câteva ore sau chiar zile. Acest lucru limitează capacitatea de a identifica și de a răspunde la evenimente care apar rapid, cum ar fi un dezastru natural.
Pentru a depăși aceste restricții, un grup de cercetători condus de Vít Růžička, student la doctorat (Departamentul de Informatică, Universitatea din Oxford), și-a asumat provocarea de a antrena primul program de învățare automată în spațiul cosmic. În cursul anului 2022, echipa și-a prezentat cu succes ideea în cadrul misiunii Dashing through the Stars, care lansase un apel deschis pentru propuneri de proiecte ce urmau să se desfășoare la bordul satelitului ION SCV004, lansat în ianuarie 2022. În toamna anului 2022, echipa a transmis codul programului către satelitul aflat deja pe orbită.
Cercetătorii au antrenat un model simplu pentru a detecta schimbările în acoperirea norilor din imaginile aeriene direct la bordul satelitului, spre deosebire de antrenamentul la sol. Modelul s-a bazat pe o abordare numită “few-shot learning”, care permite unui model să învețe cele mai importante caracteristici pe care trebuie să le caute atunci când are la dispoziție doar câteva eșantioane pentru a se antrena. Un avantaj esențial este faptul că datele pot fi comprimate în reprezentări mai mici, ceea ce face ca modelul să fie mai rapid și mai eficient. În timp ce prima parte a modelului, pentru a comprima imaginile nou-văzute, a fost antrenată la sol, a doua parte, care a decis dacă imaginea conținea sau nu nori, a fost antrenată direct pe satelit.
În mod normal, dezvoltarea unui model de învățare automată ar necesita mai multe runde de instruire, folosind puterea unui grup de calculatoare interconectate. În schimb, micul model al echipei a finalizat faza de instruire (folosind peste 1300 de imagini) în aproximativ o secundă și jumătate. Atunci când echipa a testat performanța modelului pe date noi, acesta a detectat automat dacă un nor era prezent sau nu în aproximativ o zecime de secundă. Aceasta a implicat codificarea și analiza unei scene echivalente cu o suprafață de aproximativ 4,8 x 4,8 km2 (echivalentul a aproape 450 de terenuri de fotbal).
Source (University of Oxford, “Researchers successfully train a machine learning model in outer space for the first time”, 28.07.2023)
Paper: Růžička, V., Mateo-García, G., Bridges, C., Brunskill, C., Purcell, C., Longépé, N. and Markham, A., 2023. Fast model inference and training on-board of Satellites. arXiv preprint arXiv:2307.08700.
