Responsable de grands volumes de données, le data engineer développe des infrastructures de données et en assure leur bon fonctionnement. © metamorworks, Fotolia.

Tech

Data Engineer

MétierClassé sous :informatique , data

Chargé de valoriser les données présentes au sein des entreprises, le data engineer est un maillon essentiel dans l'exploitation des datas. Tu aimes le côté technique de l'informatique et l'aspect créatif de l'architecture ? Ce métier te permettra de concilier les deux.
 

Le data engineer est moins connu que ses collègues data scientist ou data analyst. Pourtant, son travail est capital puisqu'il est chargé de développer des outils permettant de traiter de manière qualitative et fiable une masse importante de données.

Le data engineer doit développer, concevoir, tester et assurer la maintenance d'infrastructures informatiques comme des bases de données par exemple. Grâce à ses applications, le data engineer doit rendre accessibles et exploitables tout de suite de gros volumes de datas, qui seront ensuite utilisées par le data scientist, qui va les mettre en valeur et leur donner du sens ou par le data analyst, qui va les exploiter d'un point de vue marketing.

Parmi ses missions principales, la conception d'une architecture supportant la donnée, mais aussi la valorisation des données présentes dans l'entreprise en les identifiant, en définissant le traitement dont elles feront l'objet, en réconciliant les sources et les formats de données, en créant des corrélations entre certaines d'entre elles... Le data engineer veille aussi à l'interopérabilité des systèmes (c'est-à-dire leur capacité à fonctionner ensemble) et s'assure du respect des réglementations en vigueur en matière de sécurisation des données.

Les principales compétences et qualités à avoir

Le data engineer doit avoir de multiples compétences techniques  :

  • maîtriser le développement Agile (DevOps...) ;
  • connaître les outils de développement et d'administration (Postgre SQL, NoSQL, Hadoop, Spark...) ;
  • maîtriser les outils de gestion de base de données (Cassandra, Bigtable) ;
  • connaître les langages de programmation (Python, C/C++, Java, Perl...) ;
  • avoir des connaissances en statistiques, modélisation et analyse de données ;
  • maîtriser l'anglais technique ;
  • être rigoureux et organisé ;
  • connaître les réglementations en vigueur sur la sécurisation des données ;
  • être force de proposition ;
  • mener une veille technologique ;
  • savoir travailler en équipe et avoir le sens de l'écoute.
Le data engineer est un architecte des données. Il conçoit des outils (bases de données, systèmes de traitement…) permettant de rassembler et d’exploiter toutes les données présentes dans une entreprise. © monsitj, Fotolia.

Les conditions de travail

Les data engineers travaillent à leur bureau et sont en relation permanente avec le client, le data analyst, le data scientist et les utilisateurs métier afin de proposer la solution la plus adaptée à leurs besoins. Il peut être amené à se déplacer chez certains clients, mais son poste est à grande majorité sédentaire.

Comment devenir data engineer ?

Un bac + 5 est généralement demandé pour occuper un poste de data engineer. Métier assez récent, il n'y a pas de formation vraiment dédiée mais plusieurs diplômes permettent d'y accéder :

  • Mastère pro Expert en ingénierie informatique, option Business intelligence et big data, Lyon ;
  • Master spécialisé Big Data (Télécom ParisTech, EM Grenoble, Essec) ;
  • Master informatique, spécialité exploration informatique des données et décisionnel ;
  • Certification Google Cloud Certified - Professional Data Engineer.

Le salaire d’un data engineer

Un data engineer débutant gagne environ 2500 à 3000 euros bruts par mois. Après seulement quelques années d'expérience, son salaire peut atteindre les 5000 euros bruts mensuels.

Les perspectives d’évolution d’un data engineer

Après plusieurs années d'expérience, un data engineer pourra évoluer vers un poste de directeur informatique ou devenir indépendant.

Entreprises qui emploient des data engineers

Les data engineers peuvent travailler dans de nombreux secteurs d'activité de l'industrie comme la métallurgie, la chimie, l'agroalimentaire, les transports, l'énergie... Les secteurs de la santé, de la distribution, de l'immobilier ou encore de la finance peuvent également recruter ces profils. Les data engineers peuvent par ailleurs être salariés d'une entreprise ou bien exercer en tant que consultants lorsqu'ils sont à leur compte.

Maman, mon travail consiste à construire des bases de données permettant de retrouver facilement un volume important d'informations présentes dans l'entreprise. Je dois regrouper dans un même outil, des données pertinentes, fiables, qualitatives et surtout exploitables par mes collègues d'entreprise. En gros, je me situe entre l'architecte Jean Nouvel et Mario... Je construis de quoi exploiter les données et je m'assure que tous les tuyaux fonctionnent !