Notre client, grand nom du secteur bancaire, développe des plateformes de données de pointe pour transformer ses processus décisionnels. Nous recherchons un(e) Data Engineer confirmé(e) pour concevoir, automatiser et industrialiser les pipelines de données à grande échelle, en garantissant la scalabilité et la robustesse des systèmes.
Vos missions :
Gestion des socles techniques :
Développer, maintenir et faire évoluer les assets projets (modules de test et validation), de déploiement (scripts CI/CD) et d'infrastructure.
Valider la conformité des évolutions d'infrastructure nécessaires aux cas d'usages..
Conception et implémentation des pipelines de données :
Concevoir et développer des pipelines automatisés (ingestion et transformation) vers le Data Hub.
Utiliser l'outil xDI pour les mappings et développements afin d'assurer la traçabilité.
Optimiser les pipelines pour garantir des performances élevées et une faible latence entre le Cloud et le Legacy.
Industrialisation et automatisation :
Industrialiser les modèles de Machine Learning et les flux de données à grande échelle.
Collaborer avec les Data Scientists et MLOps pour assurer la transition fluide de l'exploration vers la production (Guidelines STELLAR).
Automatiser la gestion des traitements pour réduire les interventions manuelles.
Gestion des données et optimisation :
Optimiser les performances des requêtes et des pipelines via les meilleures pratiques d’architecture de stockage (raw, refined, trusted layers).
Assurer une surveillance continue de la qualité et mettre en place des contrôles de validation.
Sécurité et gouvernance des données :
Mettre en œuvre les solutions de sécurisation (chiffrage, accès, audits) en conformité avec le RGPD.
Travailler avec le Data Office pour l'alignement avec les politiques définies.
Maintenir la documentation technique (Confluence) et la gestion des métadonnées.
Environnement technique
Stack : xDI (important), Spark, SQL, Python, Dataiku.
Infrastructure : IBM Cloud, Data Hub, AS400 (Legacy).
Concepts : Data Warehouses, Data Hubs, Data Platform Build.
DevOps : Git, pipelines CI/CD (Gitlab).
Méthodologie : Agile (Squads).
✅ Expertise Engineering : Niveau Confirmé (minimum 3 à 5 ans d'expérience) sur des problématiques de mise en production et de scalabilité.
✅ Compétences transverses : Maîtrise de l’automatisation des flux Data Science et de l'industrialisation.
✅ Sécurité : Connaissance approfondie des enjeux de sécurité, de conformité réglementaire (RGPD) et de gouvernance.
✅ Soft Skills : Capacité à travailler étroitement avec les équipes métiers et data science pour adapter les solutions techniques aux besoins réels.
✅ Langues : Maîtrise de l’anglais indispensable pour interagir avec les parties prenantes.
