Rejoignez une grande organisation du secteur automobile en tant que Lead Data Orchestration Engineer, en charge du pilotage et de l'optimisation d'une plateforme d'orchestration Apache Airflow hébergée sur AWS MWAA. Vous porterez une mission stratégique de transformation technique, alliant optimisation architecturale, sécurisation de l'infrastructure, et autonomisation des équipes autour d'une plateforme bancaire de données critiques.
Notre client gère des pipelines de données complexes traversant 9 pays européens, avec une volumétrie considérable (200+ DAGs en production). Suite à un audit technique approfondi en début 2026, la plateforme a été stabilisée et entre désormais dans une phase d'optimisation structurelle. Vous serez au cœur de cette évolution, responsable de faire évoluer les mécanismes d'orchestration existants, de renforcer la robustesse face à la charge et aux défaillances, d'étudier les alternatives architecturales, et de structurer les équipes pour une exploitation en autonomie long terme.
La mission s'organise autour de quatre axes complémentaires :
- Axe 1 - Optimisation architecturale : faire évoluer la DAG Factory existante, migrer les dépendances inter-DAGs vers les mécanismes natifs Airflow (Datasets), optimiser les performances au parse-time et runtime, et mettre en place la validation automatisée en CI/CD (parse test, linting, tests d'intégration).
- Axe 2 - Sécurisation et résilience : implémenter une politique de rotation des secrets, déployer le routage différencié des alertes par type d'incident et criticité, piloter le capacity planning et le tuning de la plateforme (pools, scaling, rétention logs), renforcer l'isolation réseau et durcir la configuration, finaliser et maintenir les runbooks d'incidents.
- Axe 3 - Étude et migration vers une infrastructure cible : l'audit a mis en évidence les limites structurelles d'AWS MWAA (contraintes de scaling, flexibilité limitée, coûts). Vous serez chargé de benchmarker les alternatives (Airflow auto-hébergé sur ECS/EKS, Astronomer, Dagster, Prefect ou autres solutions), de produire une recommandation argumentée avec analyse coûts/bénéfices et risques, et de piloter la migration vers l'infrastructure retenue si pertinent.
- Axe 4 - Autonomie des équipes : lancer et piloter un programme de formation sur l'orchestration destiné aux équipes Dev et Ops (environ 10 personnes), constituer une méta-équipe plateforme avec vision unifiée Dev + Ops sous leadership technique commun, accompagner l'évolution des profils (Dev vers Data Engineers, Ops vers DataOps), et évaluer l'internalisation progressive de profils techniques clés.
Vous travaillerez dans un environnement technique mature et ambitieux, au sein d'une organisation valorisant l'excellence technique, la rigueur architecturale et le mentorat. Vous aurez également la responsabilité de concevoir et faire appliquer des standards techniques robustes (code reviews, patterns, conventions), et de piloter des programmes d'optimisation complexes avec priorisation, suivi et reporting.
Responsabilités :
- Piloter l'optimisation et l'évolution des mécanismes d'orchestration Airflow pour le passage à l'échelle et la réduction des coûts d'exploitation
- Faire évoluer la DAG Factory existante en enrichissant les patterns, en améliorant la maintenabilité et en validant automatiquement les DAGs en CI/CD
- Implémenter et maintenir une stratégie complète de sécurisation : rotation des secrets, routage d'alertes par criticité, isolation réseau, durcissement de configuration
- Étudier et recommander l'infrastructure cible pour l'orchestration, en analysant les alternatives à AWS MWAA et en piloter la migration
- Piloter le capacity planning, le tuning de performance (pools, scaling, rétention logs) et la résilience globale de la plateforme
- Concevoir et faire appliquer les standards techniques et les bonnes pratiques d'orchestration auprès de l'ensemble des équipes
- Lancer et piloter un programme de formation et de mentorat auprès des équipes Dev et Ops pour accroître leur autonomie
- Accompagner la montée en compétence des profils vers des rôles Data Engineer et DataOps
- Garantir la continuité de service lors des transitions et migrations techniques
Télétravail : à déterminer
Localisation : Sochaux
Profil recherché
Indispensables :
- Minimum 5 ans d'expérience solide sur Apache Airflow, dont une expérience significative en environnement managé (AWS MWAA ou Google Cloud Composer)
- Maîtrise approfondie du modèle d'exécution Airflow : scheduler, executor, pools, triggers, deferrable operators et leur tuning
- Expérience confirmée d'optimisation et de scaling de plateformes Airflow en production avec plus de 200 DAGs
- Expertise AWS : MWAA, SQS, SNS, Secrets Manager, CloudWatch, IAM et patterns de sécurisation cloud
- Connaissance pratique des alternatives modernes à MWAA : Airflow auto-hébergé sur ECS/EKS, Astronomer, ou orchestrateurs comme Dagster et Prefect
- Expérience avec les DAG Factories dynamiques : conception, évolution et optimisation de générateurs de DAGs à partir de configurations
- Maîtrise des patterns de résilience : retry strategies, Dead Letter Queues, circuit breakers, isolation des flux
- Expertise en observabilité : mise en place de métriques, dashboards, alerting et routage d'incidents par criticité
- Python avancé : développement de plugins custom, operators, sensors et code de qualité production
- Capacité à concevoir et faire appliquer des standards techniques : code reviews, patterns architecturaux, conventions de nommage
- Expérience de mentorat et de transfert de compétences auprès d'équipes mixtes (Dev + Ops)
- Autonomie, force de proposition et capacité à piloter des programmes techniques complexes
Fortement appréciés :
- Expérience réussie de migration d'une plateforme d'orchestration vers une autre (orchestrateur à orchestrateur)
- Infrastructure as Code avec Terraform ou CloudFormation pour déployer et maintenir des infrastructures Airflow
- Expérience avec des architectures multi-pays ou multi-régions et gestion de la séparation Dev/Ops
- Connaissance des patterns avancés d'Airflow : datasets-based orchestration, dynamic DAG generation, XCom optimization
- Expérience en environnement agile/Scrum avec une sensibilité au delivery itératif et à la gestion des dépendances
- Compétences en capacity planning, coûts cloud et optimisation TCO
- Sensibilité au business impact et à la continuité de service dans un contexte critique/bancaire
- Communication aisée en contexte multi-culturel et aptitude à structurer la connaissance pour les équipes