En se servant d’un réseau neuronal artificiel, un étudiant de l’université de Copenhague, au Danemark, a trouvé le moyen d’interpréter les données émises par les capteurs de mouvements d’une montre connectée. Son application a pu trouver des codes secrets tapés sur des pavés numériques ainsi que sur l’écran tactile d’un smartphone.
Cela vous intéressera aussi

Certains le savaient depuis un certain temps : les capteurscapteurs de mouvementsmouvements présents dans les smartphones peuvent potentiellement être transformés en redoutables mouchards. Plusieurs équipes de chercheurs ont démontré comment la lecture des données émises par l’accéléromètre peut servir notamment à identifier un terminal mobile ou à enregistrer tout ce qui est tapé sur le clavier d’un ordinateur. Or, ce type de capteur est également présent dans les montres connectées... Il n'est donc pas très surprenant d'apprendre qu'il existe des moyens de transformer ces nouveaux gadgets à la mode en espions.

Une démonstration que l'on doit à un ingénieur logiciellogiciel français, Tony Beltramelli, qui en a fait le sujet de sa thèse intitulée Deep-Spying : Spying using Smartwatch and Deep Learning qu'il a menée à l'université de Copenhague, au Danemark. Il y décrit une méthode d'attaque par inférence grâce à laquelle il est possible d'extraire des informations précises, telles que des codes PIN ou des codes de carte bancaire, à partir de l'accéléromètreaccéléromètre et du gyroscopegyroscope présents dans une montre connectée. Pour cela, le jeune ingénieur a développé une applicationapplication installée sur une Smartwatch 3 de Sony tournant sous AndroidAndroid Wear.

Le jeune ingénieur français à l’origine de cette expérimentation a développé une application pour montres connectées fonctionnant sous Android Wear. Elle récupère les données émises par l’accéléromètre et le gyroscope afin qu’elles soient analysées par une intelligence artificielle. L'extrapolation du code se fait en temps réel. © Tony Beltramelli

Le jeune ingénieur français à l’origine de cette expérimentation a développé une application pour montres connectées fonctionnant sous Android Wear. Elle récupère les données émises par l’accéléromètre et le gyroscope afin qu’elles soient analysées par une intelligence artificielle. L'extrapolation du code se fait en temps réel. © Tony Beltramelli

L'attaque fonctionne avec les claviers et écrans tactiles

Le logiciel récupère les données des capteurs pendant que la personne tape son code sur un clavierclavier à 12 touches, comme ceux que l'on trouve sur les distributeurs automatiques de billets. Il les envoie à un smartphonesmartphone, lequel les transfère à un serveurserveur pour analyse. C'est là qu'entre en jeu un algorithme d'intelligence artificielleintelligence artificielle basé sur un réseau neuronalréseau neuronal récurrent qui a été entraîné pour interpréter ces données. L'outil est capable de faire le tri dans ces informations en éliminant les mouvements parasitesparasites et d'identifier des profils correspondant aux déplacements des doigts. On peut voir l'application fonctionner en temps réel dans cette vidéo de démonstration publiée sur YouTube.

Ce type d'attaque peut réussir à la fois pour des codes secrets tapés sur un clavier physiquephysique à 12 touches en faisant ce que l'on appelle du keylogging, mais aussi sur le clavier virtuel d'un écran tactileécran tactile en faisant du touchlogging. Cette seconde méthode a été élaborée et décrite en 2011 par des chercheurs de l'université de Californie (États-Unis). Dans sa thèse, Tony Beltramelli indique que son application affiche un taux de précision de 73 % sur du keylogging et de 59 % sur du touchlogging. Il a publié l'ensemble de son travail ainsi que l'application et le code nécessaires pour la tester via GitHub.

Aussi probante soit-elle, la démonstration reste théorique et aucune attaque de ce type n'a encore été réalisée en conditions réelles. Ce n'est cependant pas la première expérience de ce genre. En septembre dernier, un professeur de l'université de l'Illinois (États-Unis) avait déjà réalisé une approche similaire à partir d'une montre Samsung Gear Live et d'une application baptisée Motion Leaks. Ces démonstrations rejoignent des constats qui ont déjà été dressés quant au niveau de sécurité des montres connectées.

Sans verser dans l'alarmisme, tout ceci rappelle l'importance de se montrer vigilant sur la provenance des applications que l'on installe sur n'importe quel terminal mobile ou objet connecté ainsi qu'aux autorisations d'accès que l'on accorde à ces programmes. C'est d'ailleurs dans ce sens que Tony Beltramelli conclut sa thèse en estimant que les systèmes d'exploitationsystèmes d'exploitation mobiles devraient tous demander un consentement à l'utilisateur avant d'autoriser une application à accéder à l'accéléromètre et au gyroscope. Il donne un conseil on ne peut plus simple, mais de bon sens : ne pas porter une montre ou un bracelet connectébracelet connecté sur la main dont on se sert pour taper ses codes...