ENG: Researchers from the McKelvey School of Engineering at Washington University in St. Louis have developed a machine learning algorithm that can create a continuous 3D model of cells from a partial set of 2D images that were taken using the same standard microscopy tools found in many labs today. The key to this work was the use of a neural field network, a particular kind of machine learning system that learns a mapping from spatial coordinates to the corresponding physical quantities. When the training is complete, researchers can point to any coordinate and the model can provide the image value at that location.

A particular strength of neural field networks is that they do not need to be trained on copious amounts of similar data. Instead, as long as there is a sufficient number of 2D images of the sample, the network can represent it in its entirety, inside and out. The image used to train the network is just like any other microscopy image. In essence, a cell is lit from below; the light travels through it and is captured on the other side, creating an image. This is done by feeding the model information about a point in the sample where the image captured some of the internal structure of the cell.

Then the network takes its best shot at recreating that structure. If the output is wrong, the network is tweaked. If it’s correct, that pathway is reinforced. Once the predictions match real-world measurements, the network is ready to fill in parts of the cell that were not captured by the original 2D images.

RO: Cercetătorii de la Școala de Inginerie McKelvey de la Universitatea Washington din St. Louis au dezvoltat un algoritm de învățare automată care poate crea un model 3D continuu al celulelor dintr-un set parțial de imagini 2D care au fost realizate cu ajutorul acelorași instrumente standard de microscopie care se găsesc în prezent în multe laboratoare. Cheia acestei lucrări a fost utilizarea unei rețele de câmpuri neuronale, un tip special de sistem care învață o corespondență de la coordonatele spațiale la cantitățile fizice corespunzătoare. Când antrenamentul este complet, cercetătorii pot indica orice coordonată, iar modelul poate furniza valoarea imaginii în acea locație.

Un punct forte al rețelelor de câmp neuronal este faptul că nu este nevoie să fie antrenate pe cantități mari de date similare. În schimb, atâta timp cât există un număr suficient de imagini 2D ale eșantionului, rețeaua îl poate reprezenta în întregime, în interior și în exterior. Imaginea utilizată pentru a antrena rețeaua este la fel ca orice altă imagine microscopică. În esență, o celulă este luminată de jos; lumina trece prin ea și este captată pe partea cealaltă, creând o imagine. Acest lucru se face prin alimentarea modelului cu informații despre un punct din eșantion în care imaginea a capturat o parte din structura internă a celulei.

Apoi, rețeaua încearcă să recreeze cât mai bine acea structură. În cazul în care rezultatul este greșit, rețeaua este ajustată. Dacă este corect, acea cale este consolidată. Odată ce predicțiile corespund măsurătorilor din lumea reală, rețeaua este pregătită să completeze părțile celulei care nu au fost surprinse de imaginile 2D originale.

Source (The Source, Washington University in St. Louis, “Machine learning generates 3D model from 2D pictures”, 19.09.2022)

Paper: Liu, R., Sun, Y., Zhu, J., Tian, L. and Kamilov, U.S., 2022. Recovery of continuous 3D refractive index maps from discrete intensity-only measurements using neural fields. Nature Machine Intelligence, pp.1-11.