Contexte :

Dans le cadre de notre projet, nous recherchons un Data Engineer Confirmé pour renforcer une équipe de développement sur une plateforme Azure Data. Vous interviendrez sur la conception, le développement et l'optimisation de pipelines de données, avec une forte composante Software Engineering et DataOps.

• Démarrage : ASAP

Missions :

• Concevoir, développer et optimiser des pipelines de données (batch & streaming) sur Azure (ADLS, ADF, Databricks, Synapse)

• Implémenter des architectures Medallion (Bronze/Silver/Gold) avec des formats Delta/Iceberg/Parquet

• Développer en Python/PySpark et assurer la qualité du code (tests unitaires, revues, linting)

• Modéliser les données selon les approches DataVault, Kimball ou autres

• Orchestrer les flux avec ADF (ou Airflow, Luigi, Prefect)

• Participer à l'ensemble du cycle de vie des données (SDLC) avec une forte culture DevOps (CI/CD, versioning, branching)

• Collaborer avec les équipes produit, data et métier

• Apporter une aide aux juniors et réaliser des revues de code (peer reviews)

Profil recherché :

• Expérience confirmée en Data Engineering sur Azure (Data Lake Gen2, ADF, Databricks, Synapse)

• Maîtrise de Spark/PySpark et des concepts de traitement distribués

• Bonne connaissance de la modélisation de données (SQL, formats tabulaires, DataVault, Kimball)

• Forte culture Software Engineering : modularité, tests, documentation, gestion d'erreurs, pair programming

• Connaissance des outils de versioning (Git) et des pratiques DevOps (CI/CD, observabilité, sécurité)

• Capacité à travailler en autonomie et à aider les juniors

• Anglais technique (un atout)

Compétences clés :

• Azure Data Platform (ADLS, ADF, Databricks, Synapse, Key Vault, CosmosDB)

• PySpark / Spark / Python

• SQL avancé, modélisation (DataVault, Kimball)

• Medallion Architecture (Bronze/Silver/Gold)

• Ordonnancement (ADF, Airflow)

• DevOps (Git, CI/CD)

• Software Engineering (modularité, tests, documentation)