Contexte :

Dans le cadre de notre projet, nous recherchons un Data Engineer Senior pour piloter la conception technique et la livraison de solutions Data sur Azure, avec une forte composante Software Engineering, DataOps et leadership technique.

• Démarrage : ASAP
• Mode : à distance

Missions :

• Piloter la conception technique des composants de la plateforme Data

• Définir et établir les standards, patterns et bonnes pratiques d’architecture et de développement

• Superviser et mener la livraison de features ou épics complexes

• Concevoir, développer et optimiser des pipelines de données (batch & streaming) sur Azure (ADLS, ADF, Databricks, Synapse, Stream Analytics)

• Implémenter des architectures Medallion (Bronze/Silver/Gold) avec des formats Delta/Iceberg/Parquet

• Développer en Python/PySpark et assurer la qualité du code (tests unitaires, revues, linting)

• Modéliser les données selon les approches DataVault, Kimball ou autres

• Orchestrer les flux avec ADF (ou Airflow, Luigi, Prefect)

• Assurer la sécurité, l’automatisation et la gestion des coûts sur Azure

• Mentorer les membres juniors de l’équipe

• Communiquer avec les parties prenantes externes (métier, produit, direction)

Profil recherché :

• Expérience avancée en Data Engineering sur Azure (Data Lake Gen2, ADF, Databricks, Synapse, Analysis Services, Docker/Kubernetes, Stream Analytics)

• Maîtrise avancée de Spark/PySpark et des concepts de traitement distribués

• Connaissance approfondie de la modélisation de données (SQL, formats tabulaires, DataVault, Kimball)

• Forte culture Software Engineering : modularité, tests, documentation, gestion d'erreurs, pair programming

• Connaissance des outils de versioning (Git) et des pratiques DevOps (CI/CD, observabilité, sécurité)

• Expérience en BI et concepts décisionnels (un atout)

• Capacité à piloter des équipes, mentorat et leadership technique

• Excellente communication écrite et orale

• Anglais technique (obligatoire)

Compétences clés :

• Azure Data Platform (ADLS, ADF, Databricks, Synapse, Key Vault, CosmosDB, Analysis Services, Stream Analytics)

• PySpark / Spark / Python / C# (un atout)

• SQL avancé / expert, modélisation (DataVault, Kimball)

• Medallion Architecture (Bronze/Silver/Gold)

• Ordonnancement (ADF, Airflow)

• DevOps (Git, CI/CD)

• Software Engineering (modularité, tests, documentation)

• Sécurité, automatisation, gestion des coûts Azure

• BI & Analytics (concepts)