ENG: Image sensors measure light intensity, but angle, spectrum, and other aspects of light must also be extracted to significantly advance machine vision. In Applied Physics Letters, published by AIP Publishing, researchers at the University of Wisconsin-Madison, Washington University in St. Louis, and OmniVision Technologies highlight the latest nanostructured components integrated on image sensor chips that are most likely to make the biggest impact in multimodal imaging. The developments could enable autonomous vehicles to see around corners instead of just a straight line, biomedical imaging to detect abnormalities at different tissue depths, and telescopes to see through interstellar dust.

Image sensors, which converts light into electrical signals, are composed of millions of pixels on a single chip. The challenge is how to combine and miniaturize multifunctional components as part of the sensor. In their own work, the researchers detailed a promising approach to detect multiple-band spectra by fabricating an on-chip spectrometer. They deposited photonic crystal filters made up of silicon directly on top of the pixels to create complex interactions between incident light and the sensor. The pixels beneath the films record the distribution of light energy, from which light spectral information can be inferred. The device – less than a hundredth of a square inch in size – is programmable to meet various dynamic ranges, resolution levels, and almost any spectral regime from visible to infrared.

The researchers built a component that detects angular information to measure depth and construct 3D shapes at subcellular scales. Their work was inspired by directional hearing sensors found in animals, like geckos, whose heads are too small to determine where sound is coming from in the same way humans and other animals can. Instead, they use coupled eardrums to measure the direction of sound within a size that is orders of magnitude smaller than the corresponding acoustic wavelength. Similarly, pairs of silicon nanowires were constructed as resonators to support optical resonance. The optical energy stored in two resonators is sensitive to the incident angle. The wire closest to the light sends the strongest current. By comparing the strongest and weakest currents from both wires, the angle of the incoming light waves can be determined. Millions of these nanowires can be placed on a 1-square-millimeter chip. The research could support advances in lensless cameras, augmented reality, and robotic vision.

RO: Senzorii de imagine măsoară intensitatea luminii, dar unghiul, spectrul și alte aspecte ale luminii trebuie, de asemenea, să fie extrase pentru a avansa semnificativ în domeniul vederii artificiale. În Applied Physics Letters, publicat de AIP Publishing, cercetătorii de la Universitatea din Wisconsin-Madison, Universitatea Washington din St. Louis și OmniVision Technologies evidențiază cele mai recente componente nanostructurate integrate pe cipuri de senzori de imagine care pot să aibă cel mai mare impact în domeniul imagisticii multimodale. Aceste evoluții ar putea permite vehiculelor autonome să vadă pe după colțuri în loc să vadă doar în linie dreaptă, imagisticii biomedicale să detecteze anomalii la diferite adâncimi ale țesuturilor și telescoapelor să vadă prin praful interstelar.

Senzorii de imagine, care transformă lumina în semnale electrice, sunt compuși din milioane de pixeli pe un singur cip. Provocarea constă în modul de combinare și miniaturizare a componentelor multifuncționale ca parte a senzorului. În lucrarea lor, cercetătorii au detaliat o abordare promițătoare pentru detectarea spectrelor cu benzi multiple prin fabricarea unui spectrometru pe cip. Aceștia au depus filtre de cristale fotonice alcătuite din siliciu direct deasupra pixelilor pentru a crea interacțiuni complexe între lumina incidentă și senzor. Pixelii de sub filme înregistrează distribuția energiei luminoase, din care pot fi deduse informațiile spectrale ale luminii. Dispozitivul – cu o dimensiune de mai puțin de o sutime de centimetru pătrat – este programabil pentru a satisface diverse intervale dinamice, niveluri de rezoluție și aproape orice regim spectral de la vizibil la infraroșu.

Cercetătorii au construit o componentă care detectează informațiile unghiulare pentru a măsura adâncimea și a construi forme 3D la scări subcelulare. Munca lor a fost inspirată de senzorii auditivi direcționali găsiți la animale, cum ar fi șopârla Gecko, ale căror capete sunt prea mici pentru a determina de unde vine sunetul în același mod în care o pot face oamenii și alte animale. În schimb, ei folosesc timpanii cuplați pentru a măsura direcția sunetului într-o dimensiune care este cu câteva ordine de mărime mai mică decât lungimea de undă acustică corespunzătoare. În mod similar, perechi de nanofire de siliciu au fost construite ca rezonatoare pentru a susține rezonanța optică. Energia optică stocată în două rezonatoare este sensibilă la unghiul de incidență. Firul cel mai apropiat de lumină trimite cel mai puternic curent. Prin compararea celui mai puternic și a celui mai slab curent de la ambele fire, se poate determina unghiul undelor de lumină primite. Milioane de astfel de nanofire pot fi plasate pe un cip de 1 milimetru pătrat. Cercetarea ar putea sprijini progresele în domeniul camerelor fără lentile, al realității augmentate și al viziunii robotice.

Source (AIP Publishing, “Improving Image Sensors for Machine Vision”, 26.07.2022)

Paper: Qu, Y., Yi, S., Yang, L. and Yu, Z., 2022. Multimodal light-sensing pixel arrays. Applied Physics Letters, 121(4), p.040501.