Un étudiant de l’université Brown a appris aux robots à écrire et dessiner à partir d'une simple image © Brown University

Tech

Ce robot apprend à dessiner et à écrire à partir de photos

ActualitéClassé sous :robotique , deep learning , apprentissage de l'écriture

Un nouvel algorithme permet aux robots d'écrire au crayon sur du papier, pour retranscrire des mots ou dessiner des traits similaires à ceux d'une écriture manuscrite. Le tout à partir de photos.

Des chercheurs en informatique à l'université Brown, à Rhode Island aux États-Unis, ont créé un algorithme qui permet aux robots de reproduire au stylo ou au pinceau des dessins ou de l'écriture manuscrite. Ce travail est l'œuvre d'Atsunobu Kotani, un étudiant de premier cycle, épaulé par Stefanie Tellex, une professeure assistante en informatique.  

Le but de la recherche était d'apprendre au robot la reproduction des gestes humains utilisés dans l’écriture manuscrite ou dans le dessin. Pour cela, ils lui ont appris à identifier les traits utilisés pour pouvoir les dupliquer. Selon Atsunobu Kotani, « simplement en regardant une image cible d'un mot ou d'un croquis, le robot peut reproduire chaque coup de pinceau en un geste continu. À cause de cela, il est difficile de distinguer s'il a été écrit par un robot ou par un humain ».

De nouvelles prouesses grâce au deep learning

Dans cette recherche, les scientifiques ont fait appel aux techniques du deep learning, utilisant des réseaux neuronaux pour analyser des images de mots manuscrits ou de croquis et pour ensuite déterminer comment utiliser les gestes qu'il a appris. Le système se base sur deux modèles distincts de l'image. Un premier modèle global permet de choisir le point de départ le plus probable. Une fois que le trait a commencé, un second modèle agrandit ensuite l'image, pour déterminer le parcours du tracé et sa longueur. Une fois qu'il a terminé ce premier trait, il retourne au modèle global pour choisir le point de départ du second trait, et continue à alterner entre ces deux systèmes jusqu'à ce que l’image soit terminée.

Le robot diffère des approches habituelles car il détermine l'ordre des traits de lui-même. Habituellement, les robots doivent avoir un minimum d'informations préalables. Pour parvenir à écrire, il leur faut l'ordre des traits à chaque fois. Selon Stefanie Tellex, la tutrice de Kotani, l’algorithme de son étudiant « permet de dessiner ce que vous souhaitez et le robot peut le reproduire. Il ne parvient pas toujours à effectuer les traits dans l'ordre parfait, mais il s'en rapproche beaucoup. »

Ce robot est capable d'écrire « Bonjour » dans une dizaine de langues. © Brown University

Des résultats qui ont étonné les chercheurs

La capacité du robot à reproduire des éléments nouveaux a surpris les chercheurs. L'algorithme utilisé en deep learning a été entraîné sur des caractères japonais. Ses recherches ont montré que le robot était capable de reproduire les caractères et les gestes avec une précision de 93 %. Ils l'ont ensuite testé avec des caractères latins en anglais, et ont également obtenu de bons résultats. « Nous aurions été heureux s'il avait seulement appris les caractères japonais, a indiqué Stefanie Tellex. Mais, lorsqu'il a fonctionné avec l'anglais, nous avons été étonnés. On a décidé de voir jusqu'où il pouvait aller ».

Ils ont ensuite demandé à l'ensemble du personnel du laboratoire de robotique d'écrire le mot « bonjour » dans leur langue maternelle, ce qui leur a permis de confronter le robot notamment au grec, hindi, ourdou, chinois et yiddish, et ce avec de bons résultats à chaque fois. La plus grande surprise a été lorsqu'ils lui ont présenté un croquis de la Joconde, dont la reproduction par le robot a laissé le personnel du laboratoire incrédule. Les deux chercheurs imaginent un avenir où les robots pourront laisser des mémos sur des Post-it, prendre des notes ou dessiner des croquis pour leurs collaborateurs humains.

  • Un étudiant a créé un algorithme pour permettre aux robots d'écrire avec un crayon sur du papier.
  • Le robot apprend les traits de l'écriture manuscrite humaine.
  • Il peut ensuite reproduire ce qu'il détecte sur une simple image, un mot ou un croquis.
Abonnez-vous à la lettre d'information La quotidienne : nos dernières actualités du jour.

!

Merci pour votre inscription.
Heureux de vous compter parmi nos lecteurs !

Cela vous intéressera aussi

Scribit : un robot-peintre qui décore nos murs à volonté  Suspendu à deux fils, Scribit se déplace sur un mur et, piloté par une appli, dessine à peu près n'importe quoi avec ses quatre marqueurs à encre effaçable. Tous les enfants en ont rêvé, Carlo Ratti, du MIT, l'a fait. Il s'installe en « cinq minutes avec deux clous » et peut travailler sur de grandes surfaces. Son effaceur, intégré, peut tout supprimer.