Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e) Data Engineer Senior pour intervenir sur la conception, l'industrialisation et l'optimisation de traitements de données dans un environnement Azure.
Vous travaillerez principalement sur Databricks, PySpark et Azure Data Factory, avec une dimension complémentaire autour de l'automatisation, du CI/CD et de l'infrastructure cloud.
Vos missions
- Concevoir, développer et enchaîner des notebooks Databricks en PySpark ;
- Alimenter et maintenir les différentes couches Bronze, Silver et Gold ;
- Manipuler et optimiser les formats Parquet, Delta et CSV ;
- Améliorer les performances, la qualité et les coûts des traitements existants ;
- Superviser les flux et pipelines Azure Data Factory, mettre en place des alertes et contribuer à la reprise sur incident ;
- Fiabiliser et industrialiser les traitements Data dans un environnement de production ;
- Faire évoluer les configurations et infrastructures via Terraform ;
- Maintenir et exécuter les pipelines Jenkins liés aux déploiements et traitements Data ;
- Contribuer aux repositories Git : gestion des branches, revues de code, workflows et bonnes pratiques CI/CD ;
- Accompagner les équipes métiers et techniques dans la compréhension des besoins et la priorisation des évolutions ;
- Participer à des études d'opportunité, sujets de conseil et dossiers d'innovation.
Profil recherché
Nous recherchons un profil disposant d'au moins 5 ans d'expérience sur des sujets data, avec une expérience significative en data Engineering, et vous maitrisez notamment :
Vous disposez d'une expérience confirmée à senior en Data Engineering et maîtrisez notamment :
Databricks / PySpark ;
SQL ;
Azure Data Factory ;
les architectures Bronze / Silver / Gold ;
les formats Delta, Parquet et CSV ;
Azure ;
Git et les pratiques CI/CD ;
Terraform et Jenkins.
Vous êtes autonome, rigoureux(se), proactif(ve) et à l'aise dans des environnements nécessitant organisation, priorisation et documentation.