Que se passe-t-il hors du cadre, au cinéma ou même sur des images d'une caméra de vidéosurveillance ? Des chercheurs sont parvenus à créer un algorithme qui s'appuie sur les ombres et les lumières pour reconstituer les images invisibles à l'œil nu.
Des chercheurs du Massachusetts Institute of Technology (MIT) sont parvenus à mettre au point un algorithme pour recréer des scènes qui se déroulaient hors du champ visuel. Grâce à une analyse des ombres projetées, ils ont pu estimer la forme des objets qui se déplaçaient ailleurs dans la pièce.
Les chercheurs ont enregistré les ombres créées dans la pièce d'une scène se déroulant hors du champ visuel de la caméra. La scène était soit une vidéo diffusée sur un écran, soit directement un volontaire effectuant des gestes. Ils ont ensuite fait appel à deux réseaux neuronaux convolutifs simultanément pour analyser la scène. L'un des réseaux neuronaux part de la vidéo de la scène originelle pour tenter d'estimer la diffusion de la lumière dans la pièce, tandis que l'autre essaie de reconstruire cette même vidéo uniquement à partir de l'enregistrement des ombres créées. Lorsque les deux concordent, l'intelligence artificielle tente d'en extrapoler des explications à partir de données cachées plausibles.
En regardant le jeu d'ombres en provenance de derrière la caméra, on peut parvenir à recréer la scène. @ MIT
Une approche sans équipement spécial
Il ne s'agit pas de la première recherche dans le domaine, d'autres ont eu des idées similaires, notamment en utilisant des lasers. Cependant, dans le cas présent les chercheurs n'ont utilisé aucun matériel spécial, uniquement la caméra et l'ordinateur pour analyser la lumière.
Cette nouvelle avancée pourrait avoir de nombreuses applications, à commencer par les voitures autonomes qui pourraient alors détecter des obstacles hors du champ visuel. Les chercheurs imaginent également une utilisation pour améliorer la sécurité des résidents dans les centres de soins dédiés aux personnes âgées ou encore dans les opérations de secours.