Gesture-based communication techniques may ease video meeting challenges

ENG: During the COVID-19 pandemic, online video conferencing has been a useful tool for industry, education, and social interactions. However, it has also been associated with poor mental well-being, poor communication, and fatigue. To help overcome the challenges of online video meetings, Hills developed VMS (Video Meeting Signals), a set of simple physical gestures that can be used alongside verbal communication during a video meeting. The gestures, including two thumbs up to signal agreement or a hand over the heart to show sympathy, are meant to improve experiences by serving a similar function as subtle face-to-face signals, such as raised eyebrows, while being more visible in a small video setting.

Credit: Hills

To investigate the potential of VMS, Hills and colleagues first tested it among more than 100 undergraduate students. After half were trained on the technique, the students participated in two video-based seminars in groups of about 10 students each, before answering a survey about their experience. Analysis of the survey results showed that, compared to students without VMS training, those with VMS training reported a better personal experience, better feelings about their seminar group, and better learning outcomes. Analysis of seminar transcripts also suggested that students with VMS training were more likely to use positive language. Similar results were seen in a follow-up experiment with participants who were not students. This experiment also suggested that participants trained to use emojis instead of VMS gestures did not experience the same improved experience as participants with VMS training.

RO: În timpul pandemiei COVID-19, videoconferințele online au fost un instrument util pentru industrie, educație și interacțiuni sociale. Cu toate acestea, au fost asociate și cu o bunăstare mentală precară, comunicare deficitară și oboseală. Pentru a ajuta la depășirea provocărilor întâlnirilor video online, Hills a dezvoltat VMS (Video Meeting Signals, semnale de întâlnire video), un set de gesturi fizice simple care pot fi folosite alături de comunicarea verbală în timpul unei întâlniri video. Gesturile, care includ două degete mari pentru a semnala acordul sau o mână peste inimă pentru a arăta simpatia, sunt menite să îmbunătățească experiențele prin faptul că îndeplinesc o funcție similară cu semnalele subtile față în față, cum ar fi sprâncenele ridicate, fiind în același timp mai vizibile într-un cadru video de dimensiuni reduse.

Pentru a investiga potențialul VMS, Hills și colegii săi l-au testat mai întâi în rândul a peste 100 de studenți. După ce jumătate dintre ei au fost instruiți cu privire la această tehnică, aceștia au participat la două seminarii online în grupuri de aproximativ 10 persoane, înainte de a răspunde la un sondaj despre experiența lor. Analiza rezultatelor a arătat că studenții care au fost instruiți cu VMS au raportat o experiență personală mai bună, sentimente mai bune față de grupul lor de studiu și rezultate mai bune la învățare. Analiza transcrierilor din seminar a sugerat că studenții cu formare VMS au fost mai predispuși să folosească un limbaj pozitiv. Rezultate similare au fost observate într-un experiment cu participanți care nu erau studenți. Acesta a sugerat că participanții instruiți să folosească emoji în locul gesturilor VMS nu au experimentat aceeași experiență îmbunătățită ca și participanții cu instruire VMS.

Source (PLOS. “Gesture-based communication techniques may ease video meeting challenges: Simple set of gestures may beat emojis to communicate in video meetings.” ScienceDaily. ScienceDaily, 3 August 2022.)

Paper: Paul D. Hills, Mackenzie V. Q. Clavin, Miles R. A. Tufft, Matthias S. Gobel, Daniel C. Richardson. Video meeting signals: Experimental evidence for a technique to improve the experience of video conferencing. PLOS ONE, 2022; 17 (8): e0270399 DOI: 10.1371/journal.pone.0270399

Improving Image Sensors for Machine Vision

ENG: Image sensors measure light intensity, but angle, spectrum, and other aspects of light must also be extracted to significantly advance machine vision. In Applied Physics Letters, published by AIP Publishing, researchers at the University of Wisconsin-Madison, Washington University in St. Louis, and OmniVision Technologies highlight the latest nanostructured components integrated on image sensor chips that are most likely to make the biggest impact in multimodal imaging. The developments could enable autonomous vehicles to see around corners instead of just a straight line, biomedical imaging to detect abnormalities at different tissue depths, and telescopes to see through interstellar dust.

Credit: Yurui Qu and Soongyu Yi

Image sensors, which converts light into electrical signals, are composed of millions of pixels on a single chip. The challenge is how to combine and miniaturize multifunctional components as part of the sensor. In their own work, the researchers detailed a promising approach to detect multiple-band spectra by fabricating an on-chip spectrometer. They deposited photonic crystal filters made up of silicon directly on top of the pixels to create complex interactions between incident light and the sensor. The pixels beneath the films record the distribution of light energy, from which light spectral information can be inferred. The device – less than a hundredth of a square inch in size – is programmable to meet various dynamic ranges, resolution levels, and almost any spectral regime from visible to infrared.

The researchers built a component that detects angular information to measure depth and construct 3D shapes at subcellular scales. Their work was inspired by directional hearing sensors found in animals, like geckos, whose heads are too small to determine where sound is coming from in the same way humans and other animals can. Instead, they use coupled eardrums to measure the direction of sound within a size that is orders of magnitude smaller than the corresponding acoustic wavelength. Similarly, pairs of silicon nanowires were constructed as resonators to support optical resonance. The optical energy stored in two resonators is sensitive to the incident angle. The wire closest to the light sends the strongest current. By comparing the strongest and weakest currents from both wires, the angle of the incoming light waves can be determined. Millions of these nanowires can be placed on a 1-square-millimeter chip. The research could support advances in lensless cameras, augmented reality, and robotic vision.

RO: Senzorii de imagine măsoară intensitatea luminii, dar unghiul, spectrul și alte aspecte ale luminii trebuie, de asemenea, să fie extrase pentru a avansa semnificativ în domeniul vederii artificiale. În Applied Physics Letters, publicat de AIP Publishing, cercetătorii de la Universitatea din Wisconsin-Madison, Universitatea Washington din St. Louis și OmniVision Technologies evidențiază cele mai recente componente nanostructurate integrate pe cipuri de senzori de imagine care pot să aibă cel mai mare impact în domeniul imagisticii multimodale. Aceste evoluții ar putea permite vehiculelor autonome să vadă pe după colțuri în loc să vadă doar în linie dreaptă, imagisticii biomedicale să detecteze anomalii la diferite adâncimi ale țesuturilor și telescoapelor să vadă prin praful interstelar.

Senzorii de imagine, care transformă lumina în semnale electrice, sunt compuși din milioane de pixeli pe un singur cip. Provocarea constă în modul de combinare și miniaturizare a componentelor multifuncționale ca parte a senzorului. În lucrarea lor, cercetătorii au detaliat o abordare promițătoare pentru detectarea spectrelor cu benzi multiple prin fabricarea unui spectrometru pe cip. Aceștia au depus filtre de cristale fotonice alcătuite din siliciu direct deasupra pixelilor pentru a crea interacțiuni complexe între lumina incidentă și senzor. Pixelii de sub filme înregistrează distribuția energiei luminoase, din care pot fi deduse informațiile spectrale ale luminii. Dispozitivul – cu o dimensiune de mai puțin de o sutime de centimetru pătrat – este programabil pentru a satisface diverse intervale dinamice, niveluri de rezoluție și aproape orice regim spectral de la vizibil la infraroșu.

Cercetătorii au construit o componentă care detectează informațiile unghiulare pentru a măsura adâncimea și a construi forme 3D la scări subcelulare. Munca lor a fost inspirată de senzorii auditivi direcționali găsiți la animale, cum ar fi șopârla Gecko, ale căror capete sunt prea mici pentru a determina de unde vine sunetul în același mod în care o pot face oamenii și alte animale. În schimb, ei folosesc timpanii cuplați pentru a măsura direcția sunetului într-o dimensiune care este cu câteva ordine de mărime mai mică decât lungimea de undă acustică corespunzătoare. În mod similar, perechi de nanofire de siliciu au fost construite ca rezonatoare pentru a susține rezonanța optică. Energia optică stocată în două rezonatoare este sensibilă la unghiul de incidență. Firul cel mai apropiat de lumină trimite cel mai puternic curent. Prin compararea celui mai puternic și a celui mai slab curent de la ambele fire, se poate determina unghiul undelor de lumină primite. Milioane de astfel de nanofire pot fi plasate pe un cip de 1 milimetru pătrat. Cercetarea ar putea sprijini progresele în domeniul camerelor fără lentile, al realității augmentate și al viziunii robotice.

Source (AIP Publishing, “Improving Image Sensors for Machine Vision”, 26.07.2022)

Paper: Qu, Y., Yi, S., Yang, L. and Yu, Z., 2022. Multimodal light-sensing pixel arrays. Applied Physics Letters121(4), p.040501.

At the Water’s Edge: Self-assembling 2D Materials at a Liquid-Liquid Interface

ENG: Coordination nanosheets are one particularly interesting type of 2D material. The “coordination” refers to the effect of metallic ions in these molecules, which act as coordination centers. These centers can spontaneously create organized molecular dispositions that span multiple layers in 2D materials.

Credit: Hiroshi Nishihara from Tokyo University of Science

To synthesize the heterolayer coordination nanosheets, the team of scientists from Tokyo University of Science and The University of Tokyo in Japan first created the liquid-liquid interface to enable their assembly. They dissolved tris(terpyridine) ligand in dichloromethane (CH2Cl2), an organic liquid that does not mix with water. They then poured a solution of water and ferrous tetrafluoroborate, an iron-containing chemical, on top of the CH2Cl2. After 24 hours, the first layer of the coordination nanosheet, bis(terpyridine)iron (or “Fe-tpy”), formed at the interface between both liquids. Following this, they removed the iron-containing water and replaced it with cobalt-containing water. In the next few days, a bis(terpyridine)cobalt (or “Co-tpy”) layer formed right below the iron-containing one at the liquid-liquid interface.

The team made detailed observations of the heterolayer using various advanced techniques, such as scanning electron microscopy, X-ray photoelectron spectroscopy, atomic force microscopy, and scanning transmission electron microscopy. They found that the Co-tpy layer formed neatly below the Fe-tpy layer at the liquid-liquid interface. Moreover, they could control the thickness of the second layer depending on how long they left the synthesis process run its course. Interestingly, the team also found that the ordering of the layers could be swapped by simply changing the order of the synthesis steps.

Additionally, the team investigated the reduction-oxidation properties of their coordination nanosheets as well as their electrical rectification characteristics. They found that the heterolayers behaved much like a diode in a way that is consistent with the electronic energy levels of Co-tpy and Fe-tpy. These insights, coupled with the easy synthesis procedure developed by the team, could help in the design of heterolayer nanosheets made of other materials and tailored for specific electronics applications.

RO: Nanofoile de coordonare reprezintă un tip deosebit de interesant de material 2D. “Coordonarea” se referă la efectul ionilor metalici din aceste molecule, care acționează ca centre de coordonare. Acești centri pot crea în mod spontan dispoziții moleculare organizate care se întind pe mai multe straturi în materialele 2D.

Pentru a sintetiza heterostraturile de nanofoi de coordonare, echipa de oameni de știință de la Universitatea de Știință din Tokyo și de la Universitatea din Tokyo din Japonia a creat mai întâi interfața lichid-lichid pentru a permite asamblarea lor. Ei au dizolvat ligandul tris(terpiridină) în diclorometan (CH2Cl2), un lichid organic care nu se amestecă cu apa. Apoi au turnat o soluție de apă și tetrafluoroborat feros, un produs chimic care conține fier, peste CH2Cl2. După 24 de ore, la interfața dintre cele două lichide s-a format primul strat al nanofoii de coordonare, bis(terpiridină)fier (sau “Fe-tpy”). În continuare, au îndepărtat apa care conținea fier și au înlocuit-o cu apă care conținea cobalt. În următoarele câteva zile, un strat de bis(terpiridină)cobalt (sau “Co-tpy”) s-a format chiar sub cel care conținea fier la interfața lichid-lichid.

Echipa a făcut observații detaliate ale heterostratului folosind diverse tehnici avansate, cum ar fi microscopia electronică de scanare, spectroscopia fotoelectronică cu raze X, microscopia de forță atomică și microscopia electronică cu transmisie prin scanare. Ei au descoperit că stratul de Co-tpy s-a format perfect sub stratul de Fe-tpy la interfața lichid-lichid. Mai mult, aceștia au putut controla grosimea celui de-al doilea strat în funcție de cât timp au lăsat procesul de sinteză să se desfășoare. În mod interesant, echipa a constatat că ordinea straturilor poate fi schimbată prin simpla schimbare a ordinii etapelor de sinteză.

În plus, echipa a investigat proprietățile de reducere-oxidare ale nanofoilor de coordonare, precum și caracteristicile lor de rectificare electrică. Ei au descoperit că heterostraturile se comportă în mare măsură ca o diodă, într-un mod care este în concordanță cu nivelurile de energie electronică ale Co-tpy și Fe-tpy. Aceste informații, împreună cu procedura de sinteză ușoară dezvoltată de echipă, ar putea ajuta la proiectarea de nanofoi realizate din alte materiale și adaptate pentru aplicații electronice specifice.

Adapted and abridged from source (Tokyo University of Science, “At the Water’s Edge: Self-assembling 2D Materials at a Liquid-Liquid Interface”, 21.07.2022)

Paper: Komeda, J., Takada, K., Maeda, H., Fukui, N., Tsuji, T. and Nishihara, H., 2022. Chemically laminated 2D bis (terpyridine) metal polymer films: Formation mechanism at the liquid‐liquid interface and redox rectification. Chemistry–A European Journal.

Sessions: Star Guardian Taliyah

Video description: Come chill with Taliyah, a young Star Guardian enjoying her day off at the mall. Just watch out for Fiddlesticks, who wants to lure her away from her duties and into a world of daydreams and nicemares. 🎵

By The Line animation studio, who did work for Gorillaz, Riot Games, Estée Lauder, Gucci and Unilever.

ENG: We’re really excited to bring you our third installment of ‘Sessions’ for Riot Games Music. This 90-minute animation, set to a commissioned album from the Riot Games Music team, follows League of Legends’ character and Star Guardian member Taliyah. She takes a break from her tedious schoolwork and world-saving duties to visit her local mall turned retro pastel playground when she meets the mischievous Fiddlesticks. Reality and fantasy blur together in a sugar rush of tumbling candy, bubbling Boba, twisting stationery, retro arcade machines and sparkling skyscapes.

Put on your best retro outfit and join the duo’s incredible dance routines as you follow them through their bubblegum adventure. Thanks once again to the Riot Games Music team who let us run with it. We’re really proud of how it all turned out.

Credit: The Line studio, Riot Games

RO: Suntem foarte încântați să vă prezentăm cea de-a treia ediție a “Sesiunilor” pentru Riot Games Music. Această animație de 90 de minute, realizată pentru un album de muzică compilată de echipa Riot Games Music, o urmărește pe Taliyah, personaj din League of Legends și membră a Star Guardian. Taliyah ia o pauză de la temele plictisitoare de la școală și de la îndatoririle sale de salvare a lumii pentru a vizita mall-ul local transformat în loc de joacă retro pastelat, când îl întâlnește pe neastâmpăratul Fiddlesticks. Realitatea și fantezia se contopesc într-o avalanșă de zahăr, bomboane care se rostogolesc, ceai Boba care bolborosește, papetărie care se răsucește, mașini de arcade retro și peisaje strălucitoare.

Îmbracă-ți cea mai bună ținută retro și alătură-te incredibilelor rutine de dans ale duo-ului în timp ce îi urmărești în aventura lor efervescentă. Mulțumim încă o dată echipei Riot Games Music, care ne-a lăsat să ne ocupăm de el. Suntem foarte mândri de cum a ieșit totul.

Source (The Line, “Sessions: Star Guardian Taliyah”)

Development of an Artificial Vision Device Capable of Mimicking Human Optical Illusions

ENG: The National Institute for Materials Science (NIMS) research team recently developed an ionic artificial vision device composed of an array of mixed conductor channels placed on a solid electrolyte at regular intervals. This device simulates the way in which human retinal neurons (i.e., photoreceptors, horizontal cells and bipolar cells) process visual signals by responding to input voltage pulses (equivalent to electrical signals from photoreceptors). This causes ions within the solid electrolyte (equivalent to a horizontal cell) to migrate across the mixed conductor channels, which then changes the output channel current (equivalent to a bipolar cell response). By employing such steps, the device, independent of software, was able to process input image signals and produce an output image with increased edge contrast between darker and lighter areas in a manner similar to the way in which the human visual system can increase edge contrast between different colors and shapes by means of visual lateral inhibition.

Credit: National Institute for Materials Science

The human eye produces various optical illusions associated with tilt angle, size, color and movement, in addition to darkness/lightness, and this process is believed to play a crucial role in the visual identification of different objects. The ionic artificial vision device described here may potentially be used to reproduce these other types of optical illusions. The research team involved hopes to develop visual sensing systems capable of performing human retinal functions by integrating the subject device with other components, including photoreceptor circuits.

This project was carried out by a research team consisting of Tohru Tsuruoka (Chief Researcher, Nanoionic Devices Group (NDG), International Center for Materials Nanoarchitectonics (MANA), NIMS), Xiang Wan (Postdoctoral Researcher, NDG, MANA, NIMS at the time of this project) and Kazuya Terabe (Group Leader, NDG, MANA, NIMS).

RO: Echipa de cercetare a National Institute for Materials Science (NIMS) a dezvoltat recent un dispozitiv de viziune artificială ionică, compus dintr-o serie de canale de conductoare mixte plasate pe un electrolit solid la intervale regulate. Acest dispozitiv simulează modul în care neuronii retinei umane (adică fotoreceptorii, celulele orizontale și celulele bipolare) procesează semnalele vizuale, răspunzând la impulsuri de tensiune de intrare (echivalente cu semnalele electrice de la fotoreceptori). Acest lucru face ca ionii din electrolitul solid (echivalent cu o celulă orizontală) să migreze prin canalele conductoarelor mixte, ceea ce modifică apoi curentul canalului de ieșire (echivalent cu răspunsul unei celule bipolare). Prin utilizarea unor astfel de pași, dispozitivul, independent de software, a fost capabil să proceseze semnalele de intrare ale imaginii și să producă o imagine de ieșire cu un contrast sporit al marginilor între zonele mai întunecate și cele mai deschise, într-un mod similar modului în care sistemul vizual uman poate crește contrastul marginilor între diferite culori și forme prin intermediul inhibiției laterale vizuale.

Ochiul uman produce diverse iluzii optice asociate cu unghiul de înclinare, dimensiunea, culoarea și mișcarea, pe lângă întuneric/luminozitate, și se consideră că acest proces joacă un rol crucial în identificarea vizuală a diferitelor obiecte. Dispozitivul de viziune artificială ionică descris aici poate fi utilizat potențial pentru a reproduce aceste alte tipuri de iluzii optice. Echipa de cercetare implicată speră să dezvolte sisteme de detecție vizuală capabile să îndeplinească funcțiile retinei umane prin integrarea dispozitivului în cauză cu alte componente, inclusiv circuite de fotoreceptori.

Acest proiect a fost realizat de o echipă de cercetare formată din Tohru Tsuruoka (cercetător șef, Nanoionic Devices Group (NDG), International Center for Materials Nanoarchitectonics (MANA), NIMS), Xiang Wan (cercetător postdoctoral, NDG, MANA, NIMS la momentul realizării acestui proiect) și Kazuya Terabe (lider de grup, NDG, MANA, NIMS).

Source (NIMS, “Development of an Artificial Vision Device Capable of Mimicking Human Optical Illusions”, 11.10.2021)

Paper: Wan, X., Tsuruoka, T. and Terabe, K., 2021. Neuromorphic System for Edge Information Encoding: Emulating Retinal Center-Surround Antagonism by Li-Ion-Mediated Highly Interactive Devices. Nano Letters21(19), pp.7938-7945.