ENG: Algorithms developed in Cornell’s Laboratory for Intelligent Systems and Controls can predict the in-game actions of volleyball players with more than 80% accuracy, and now the lab is collaborating with the Big Red hockey team to expand the research project’s applications. The algorithms are unique in that they take a holistic approach to action anticipation, combining visual data – for example, where an athlete is located on the court – with information that is more implicit, like an athlete’s specific role on the team.

Ferrari and doctoral students Junyi Dong and Qingze Huo trained the algorithms to infer hidden variables the same way humans gain their sports knowledge – by watching games. The algorithms used machine learning to extract data from videos of volleyball games, and then used that data to help make predictions when shown a new set of games. The results were published Sept. 22 in the journal ACM Transactions on Intelligent Systems and Technology, and show the algorithms can infer players’ roles – for example, distinguishing a defense-passer from a blocker – with an average accuracy of nearly 85%, and can predict multiple actions over a sequence of up to 44 frames with an average accuracy of more than 80%. The actions included spiking, setting, blocking, digging, running, squatting, falling, standing and jumping.

Ferrari envisions teams using the algorithms to better prepare for competition by training them with existing game footage of an opponent and using their predictive abilities to practice specific plays and game scenarios. Beyond sports, the ability to anticipate human actions bears great potential for the future of human-machine interaction, according to Ferrari, who said improved software can help autonomous vehicles make better decisions, bring robots and humans closer together in warehouses, and can even make video games more enjoyable by enhancing the computer’s artificial intelligence.

RO: Algoritmii dezvoltați în cadrul Laboratorului pentru Sisteme Intelligente și Control de la Cornell pot prezice acțiunile din timpul jocului ale jucătorilor de volei cu o precizie de peste 80%, iar acum laboratorul colaborează cu echipa de hochei Big Red pentru a extinde aplicațiile proiectului de cercetare. Algoritmii sunt unici prin faptul că adoptă o abordare holistică a anticipării acțiunilor, combinând datele vizuale – de exemplu, locul în care se află un sportiv pe teren – cu informații mai implicite, cum ar fi rolul specific al unui sportiv în echipă.

Ferrari și doctoranzii Junyi Dong și Qingze Huo au antrenat algoritmii pentru a deduce variabilele ascunse în același mod în care oamenii își dobândesc cunoștințele sportive – urmărind meciurile. Algoritmii au folosit învățarea automată pentru a extrage date din videoclipuri cu meciuri de volei, iar apoi au folosit aceste date pentru a ajuta la realizarea de predicții atunci când li s-a arătat un nou set de meciuri. Rezultatele au fost publicate la 22 septembrie în revista ACM Transactions on Intelligent Systems and Technology și arată că algoritmii pot deduce rolurile jucătorilor – de exemplu, distingând un jucător de apărare-pasare de un jucător de apărare- cu o precizie medie de aproape 85% și pot prezice acțiuni multiple pe o secvență de până la 44 de cadre cu o precizie medie de peste 80%. Printre aceste acțiuni se numără lovirea, pregătirea, blocarea, săparea, alergarea, ghemuirea, căderea, ridicarea și săritura.

Ferrari are în vedere ca echipele să folosească algoritmii pentru a se pregăti mai bine pentru competiție, antrenându-i cu imagini de joc existente ale unui adversar și folosind abilitățile lor de predicție pentru a exersa jocuri specifice și scenarii de joc. Dincolo de sport, capacitatea de a anticipa acțiunile umane are un mare potențial pentru viitorul interacțiunii om-mașină, potrivit lui Ferrari, care a afirmat că un software îmbunătățit poate ajuta vehiculele autonome să ia decizii mai bune, poate ajuta la colaborarea oamenilor cu roboții în depozite și poate chiar face jocurile video mai plăcute prin îmbunătățirea inteligenței artificiale a computerului.

Source (Cornell Chronicle, “Algorithms predict sports teams’ moves with 80% accuracy”, 05.10.2022)

Paper: Dong, J., Huo, Q. and Ferrari, S., 2022. A Holistic Approach for Role Inference and Action Anticipation in Human Teams. ACM Transactions on Intelligent Systems and Technology (TIST).