Data Engineer H/F

QUI SOMMES NOUS :

Genly, est société de conseils spécialisée sur les verticales Data, Cloud et Cybersécurité.

Nous cherchons à agrandir notre pôle Data avec un profil Data Engineer qui sera localisé à en Ile de France.

Pourquoi nous rejoindre ?

• Des projets auprès d’organisations et des grands groupes.
• Une équipe avec de grandes ambitions.
• L’innovation et l’intrapreneuriat sont au coeur de l’entreprise.
• Booster votre votre carrière avec de la formation, de la certification et des expériences significatives.

VOTRE MISSION :

Vous serez en charge de produire des analyses à partir de dataset que vous aurez constitués sur des données de nos plateformes Big Data, Vous aurez également la responsabilité de rendre disponible des données, une fois celles-ci nettoyées, préparées et formatées sous forme de dataset ou de table à disposition des data scientists de l’équipe.

Vous aurez à développer des tableaux de bord de suivi de KP..

Vous serez en charge de :

• • L’exploitation de la plateforme Big Data :
    • Du monitoring des principaux KPI du système et la misé en œuvre des nouveaux KPI

• • Des investigations lors d’incident :
    • Vous déclencherez et piloterez le fournisseur et / ou les autres entités de l’entreprise, contribuant à son bon fonctionnement.
    • Vous serez le garant de mise à disposition des données issues du cluster HDFS. Vous aurez des scripts Scala / Spark à développer pour toute évolution à la demande de l’équipe Datascience ou en fonction des évolutions du système.
    • Vous assurez la mise en œuvre des politiques de sécurités et de sauvegarde, et appliquer tout patch ou correctif nécessaire à cette intégrité.
    • Du pilotage des fournisseurs externes et internes pour les évolutions de la plateforme, que ces évolutions portent sur le hardware, les applicatifs, ou l’architecture réseau.

• • La data ingénierie et l’exploitation de la plateforme Data en architecture de type microservices, basée sur Kubernetes et OpenShift. Vos tâches seront de :
    • Assurer la supervision et débogage du système via Openshift
    • S’assurer du bon fonctionnement des applicatifs (Spark, MinIo, Jhub, MySQL, Airflow)
    • Contrôler les volumes et consommations Hardware de la plateforme
    • Débugger les pods en cas d’erreur
    • Assurer l’écriture des graphes Helm pour les déploiements applicatifs
    • Ecriture de charts Helm pour le déploiement de nouveaux applicatifs
    • Tester les nouveaux graphes sur la plateforme de test
    • Déployer et patcher les applicatifs déjà existants avec Helm
    • Assurer la pérennité de la plateforme en gérant efficacement les images et graphes via GitLab
    • Assurer la gestion des utilisateurs et des règles de gestion du Datalake
    • Gestion des buckets et utilisateurs
    • Création de points de stockage et des règles de gestion associées
    • Création de scripts pour le stockage de Parquets
    • Assurer le fonctionnement du déploiement continu avec Gitlab
    • Administration des images de production Gitlab et DockerHub

Environnement technique : Python (Pandas), PySpark, Scala, Spark, MinIo, Jhub, MySQL, Airflow, GitLab, Docker, Kubernetes, OpenShift, HDFS

VOTRE PROFIL : DATA ENGINEER

Must have :

• Vous êtes issu d’une formation supérieure
• Vous avez minimum 4 ans d’expérience dans le domaine du data engineering, Analytics Engineering, BI
• Vous êtes un expert en PySpark
• Vous avez une très bonne maîtrise de Tableau et Pandas
• Vous avez une bonne capacité d’analyse et un bon niveau en statistique

LES MODALITÉS :

• Localisation : Ile de France
• Télétravail possible en fonction du contexte et de la mission
• Processus de recrutement rapide
• Package de rémunération selon profil et expériences (avec une part exonéré de charges et d’impôts) : 50K – 60k €
• ⁠Titre restaurant
• Mutuelle Alan
• Remboursement de 75% des transports
• 9 jour de RTT / an