Data Engineer

Notre définition : Le Data Engineer est un développeur informatique spécialisé dans la gestion et l’exploitation des données au sein d’une entreprise. Sa principale mission consiste à assurer la collecte, le traitement et la mise à disposition des données pour les différents services de l’organisation. En collaboration avec les équipes métier et les équipes d’analyse de données, le Data Engineer contribue à la création d’outils et de solutions permettant de tirer le meilleur parti des données disponibles.

 

Activités principales :

• • Acheminement de la donnée
    • Recueillir et comprendre les besoins métier en matière de collecte et de stockage de données.
    • Développer des solutions techniques de collecte de données via des interfaces de programmation (API).
    • Mettre en place des solutions de stockage de données, notamment en utilisant des technologies telles que Hadoop.
    • Effectuer des tests unitaires et d’intégration pour assurer la qualité des solutions développées.
    • Automatiser les processus de traitement des données en mettant en place des batchs pour les traitements récurrents.

• • Mise à disposition des données aux utilisateurs
    • Industrialiser et automatiser le nettoyage des données conformément aux spécifications définies.
    • Gérer et maintenir plusieurs bases de données, en important des données externes ou internes.
    • Assurer la conformité avec les réglementations telles que le RGPD en ce qui concerne la gestion du cycle de vie des données.
    • Assurer le suivi de la production et la maintenance des solutions de traitement des données.

• • Mise en production de modèles statistiques
    • Développer l’industrialisation de modèles statistiques ou de machine learning pour les intégrer dans les applications.
    • Implémenter des mécanismes de suivi de la validité des modèles statistiques.
    • Assurer le suivi de la production et la maintenance des modèles statistiques déployés.

• • Suivi des projets de développement
    • Participer à l’analyse des besoins métier pour établir les spécifications techniques.
    • Reporter régulièrement l’avancement des activités au chef de projet.

 

Activités annexes :

• • Automatiser la création de tableaux de bord pour les équipes métier.
  • Effectuer une veille technologique sur les outils et les tendances en matière de big data.
  • Rédiger la documentation technique relative aux bases de données et aux processus de traitement des données.

 

Compétences techniques requises :

• • Maîtrise des environnements Hadoop/Hive/Spark, tant en local que dans le cloud.
  • Connaissance approfondie des bases de données SQL et NoSQL, ainsi que de leur gestion.
  • Maîtrise d’au moins un langage de programmation tel que C++, Scala, Java, Python, etc.
  • Familiarité avec les outils de gestion de flux tels que Kafka, Flink, etc.
  • Compétences en développement agile.
  • Connaissance des réglementations sur la protection des données personnelles et de la cybersécurité.
  • Maîtrise des systèmes d’exploitation Unix et Windows.
  • Connaissance des solutions de manipulation des données ETL/ELT.
  • Notions de base en machine learning et intelligence artificielle.
  • Maîtrise en statistique ou en mathématiques.