ENG: A new artificial intelligence system called a semantic decoder can translate a person’s brain activity — while listening to a story or silently imagining telling a story — into a continuous stream of text. The system developed by researchers at The University of Texas at Austin might help people who are mentally conscious yet unable to physically speak, such as those debilitated by strokes, to communicate intelligibly again.

Unlike other language decoding systems in development, this system does not require subjects to have surgical implants, making the process noninvasive. Participants also do not need to use only words from a prescribed list. Brain activity is measured using an fMRI scanner after extensive training of the decoder, in which the individual listens to hours of podcasts in the scanner. Later, provided that the participant is open to having their thoughts decoded, their listening to a new story or imagining telling a story allows the machine to generate corresponding text from brain activity alone.

The result is not a word-for-word transcript. Instead, researchers designed it to capture the gist of what is being said or thought, albeit imperfectly. About half the time, the machine produces text that closely (and sometimes precisely) matches the intended meanings of the original words. For example, in experiments, a participant listening to a speaker say, “I don’t have my driver’s license yet” had their thoughts translated as, “She has not even started to learn to drive yet.” Listening to the words, “I didn’t know whether to scream, cry or run away. Instead, I said, ‘Leave me alone!’” was decoded as, “Started to scream and cry, and then she just said, ‘I told you to leave me alone.’”

RO: Un nou sistem de inteligență artificială numit decodor semantic poate traduce activitatea cerebrală a unei persoane – în timp ce ascultă o poveste sau își imaginează în tăcere că spune o poveste – într-un flux continuu de text. Sistemul dezvoltat de cercetătorii de la Universitatea Texas din Austin ar putea ajuta persoanele să comunice din nou în mod inteligibil, deși nu pot vorbi fizic, din cauza unor probleme medicale cum ar fi accidentele vasculare cerebrale.

Spre deosebire de alte sisteme de descifrare a limbajului aflate în curs de dezvoltare, acest sistem nu necesită ca subiecții să aibă implanturi chirurgicale, ceea ce face ca procesul să fie neinvaziv. De asemenea, participanții nu trebuie să folosească doar cuvinte dintr-o listă prescrisă. Activitatea cerebrală este măsurată cu ajutorul unui scaner fMRI după o pregătire extensivă a decodificatorului, în care individul ascultă ore întregi de podcast-uri în scaner. Ulterior, cu condiția ca participantul să fie deschis la înțelegerea gândurilor sale, faptul că ascultă o nouă poveste sau își imaginează că spune o poveste permite mașinii să genereze textul corespunzător doar din activitatea cerebrală.

Rezultatul nu este o transcriere cuvânt cu cuvânt. În schimb, cercetătorii au conceput decodorul pentru a capta esența a ceea ce se spune sau se gândește, chiar dacă în mod imperfect. Aproximativ jumătate din timp, sistemul produce un text care se potrivește îndeaproape (și, uneori, cu precizie) cu înțelesurile cuvintelor originale. De exemplu, în cadrul unor experimente, unui participant care a ascultat un vorbitor spunând: “Nu am încă permisul de conducere”, gândurile sale au fost traduse ca fiind: “Nici măcar nu a început să învețe să conducă”. Ascultarea cuvintelor: “Nu știam dacă să țip, să plâng sau să fug. În schimb, am spus: ‘Lasă-mă în pace!'” a fost decodificat ca fiind: “A început să țipe și să plângă, iar apoi a spus pur și simplu: ‘Ți-am spus să mă lași în pace'”.

Source (UT News, “Brain Activity Decoder Can Reveal Stories in People’s Minds”, 01.05.2023)

Paper: Tang, J., LeBel, A., Jain, S. and Huth, A.G., 2023. Semantic reconstruction of continuous language from non-invasive brain recordings. Nature Neuroscience, pp.1-9.