Dans un nouvel article publié dans Optica, des chercheurs sont parvenus à créer des vidéos en trois dimensions avec une caméra ne contenant qu’un seul pixel. Le secret est une IA capable de reconstituer la scène, image par image, à partir du temps de vol des photons.

au sommaire

    Un seul pixel suffirait à capturer des images en trois dimensions. C'est le sujet d'un nouvel article publié dans le journal Optica, qui réunit des chercheurs du Royaume-Uni, d'Italie et des Pays-Bas. Plutôt que d'utiliser des informations spatiales pour prendre une photo, ils ont reconstitué la scène grâce aux informations temporelles des photonsphotons mesurées par un capteurcapteur à point unique.

    Cette nouvelle caméra 3D est basée sur le même principe que les capteurs de temps de vol (ToF) qui équipent certains smartphones. Un laserlaser émet de brèves pulsions lumineuses et un capteur mesure le temps mis par les photons pour atteindre un objet et rebondir vers la caméra. Cela permet d'en déduire la distance, et donc d'obtenir des informations en trois dimensions sur la scène. La différence ici est que les chercheurs s'appuient sur un capteur à point unique pour mesurer le temps de parcours des photons, plutôt que des centaines de milliers de pixels.

    Une IA reconstitue la scène à partir du graphique temporel des photons

    Les données reçues constituent un simple graphique du temps. Les chercheurs ont ensuite utilisé une intelligence artificielle (IA) pour reconstituer la scène en trois dimensions. Ils ont entraîné un algorithme de réseau neuronal en lui fournissant des photos de scènes dans le laboratoire, accompagnées des données mesurées simultanément par le capteur à point unique. En comparant les deux, l'IA a pu apprendre à reconstituer les images uniquement à partir des données temporelles.

    Les chercheurs ont réussi à créer des vidéos en trois dimensions avec une dizaine d'images par seconde, mais le matériel utilisé pourrait produire des milliers d'images par seconde. Leur technique fonctionne avec une lumièrelumière laser pulsée, mais également avec les ondes radar, et pourrait être adaptée à n'importe quelle technologie qui mesure l'écho de pulsations. Avec plus d'entraînement, l'IA pourrait reconstituer d'autres scènes et être utilisée pour améliorer la navigation dans les voitures autonomes, ou même surveiller la respiration des patients à l'hôpital, selon les chercheurs.