ENG: Cloud gaming, which involves playing a video game remotely from the cloud, witnessed unprecedented growth during the lockdowns and gaming hardware shortages that occurred during the heart of the Covid-19 pandemic. Today, the burgeoning industry encompasses a $6 billion global market and more than 23 million players worldwide.
However, interdevice synchronization remains a persistent problem in cloud gaming and the broader field of networking. In cloud gaming, video, audio, and haptic feedback are streamed from one central source to multiple devices, such as a player’s screen and controller, which typically operate on separate networks. These networks aren’t synchronized, leading to a lag between these two separate streams. A player might see something happen on the screen and then hear it on their controller half a second later.
Inspired by this problem, scientists from MIT and Microsoft Research took a unique approach to synchronizing streams transmitted to two devices. Their system, called Ekho, adds inaudible white noise sequences to the game audio streamed from the cloud server. Then it listens for those sequences in the audio recorded by the player’s controller. Ekho uses the mismatch between these noise sequences to continuously measure and compensate for the interstream delay.
In real cloud gaming sessions, the researchers showed that Ekho is highly reliable. The system can keep streams synchronized to within less than 10 milliseconds of each other, most of the time. Other synchronization methods resulted in consistent delays of more than 50 milliseconds. And while Ekho was designed for cloud gaming, this technique could be used more broadly to synchronize media streams traveling to different devices, such as in training situations that utilize multiple augmented or virtual reality headsets.
RO: Jocurile în cloud, care implică redarea unui joc video de la distanță din cloud, au cunoscut o creștere fără precedent în timpul blocajelor și a lipsei de hardware care au avut loc în timpul pandemiei Covid-19. Astăzi, această industrie în plină dezvoltare cuprinde o piață globală de 6 miliarde de dolari și peste 23 de milioane de jucători din întreaga lume.
Cu toate acestea, sincronizarea între dispozitive rămâne o problemă persistentă în jocurile în cloud și în domeniul mai larg al rețelelor. Transmisiunile video, audio și feedback-ul haptic sunt redate de la o sursă centrală către mai multe dispozitive, cum ar fi ecranul și controlerul unui jucător, care funcționează de obicei pe rețele separate. Acestea nu sunt sincronizate, ceea ce duce la un decalaj între cele două fluxuri separate. Un jucător poate vedea ceva pe ecran, dar să audă acest lucru pe controlerul său o jumătate de secundă mai târziu.
Inspirați de această problemă, oamenii de știință de la MIT și Microsoft Research au creat o abordare unică pentru a sincroniza fluxurile transmise către două dispozitive. Sistemul lor, numit Ekho, adaugă secvențe de zgomot alb inaudibile la sunetul jocului transmis de la serverul cloud. Apoi, acesta ascultă aceste secvențe în sunetul înregistrat de controlerul jucătorului. Ekho utilizează neconcordanța dintre aceste secvențe de zgomot pentru a măsura și compensa în mod continuu întârzierea dintre fluxuri.
În sesiuni reale de jocuri în cloud, cercetătorii au arătat că Ekho este foarte fiabil. Sistemul poate menține sincronizarea fluxurilor la mai puțin de 10 milisecunde unul față de celălalt, în cea mai mare parte a timpului. Alte metode de sincronizare au dus la întârzieri constante de peste 50 de milisecunde. Deși Ekho a fost conceput pentru jocurile în cloud, această tehnică ar putea fi utilizată la scară mai largă pentru a sincroniza fluxurile media dintre dispozitive diferite, cum ar fi în situații de formare care utilizează mai multe căști de realitate augmentată sau virtuală.
Source (MIT News, “A system to keep cloud-based gamers in sync”, 31.08.2023)
Paper: Hamadanian, P., Gallatin, D., Alizadeh, M. and Chintalapudi, K., 2023, September. Ekho: Synchronizing cloud gaming media across multiple endpoints. In Proceedings of the ACM SIGCOMM 2023 Conference (pp. 533-549).
