Nous recherchons un Architecte Solution Data expérimenté pour rejoindre un grand acteur du secteur du transport en commun. Vous piloterez l'architecture technique et l'évolution de la plateforme Data en environnement Databricks et AWS, en tant que référent auprès des équipes projets et de production.
Vous interviendrez comme Tech Lead et architecte auprès des squads métiers, en charge de l'accompagnement des projets Data du cadrage initial jusqu'à la mise en production. Votre rôle combiera une vision stratégique d'architecture avec une forte implication opérationnelle sur les enjeux de performance, d'optimisation et d'industrialisation des traitements. Vous serez le garant des choix techniques, de la qualité des développements et de l'application des meilleures pratiques sur l'ensemble du socle technologique.
Ce poste offre une opportunité unique de façonner l'évolution d'une plateforme Data complexe, multi-sources et à haute volumétrie, tout en contribuant activement aux améliorations du framework technique et des briques réutilisables. Vous travaillerez dans un environnement Agile structure, en étroite collaboration avec les développeurs et les équipes métier.
Responsabilités :
- Accompagner les squads métiers dès la phase de cadrage jusqu'à la mise en service des cas d'usage Data.
- Challenger et valider les choix techniques et architecturaux proposés par les projets, en garantissant la cohérence avec la stratégie globale.
- Assister les Tech Leads dans la définition des architectures détaillées et la rédaction des documents d'architecture technique (DAT).
- Concevoir, optimiser et valider les pipelines d'ingestion et de transformation de données, en veillant à la performance et à la scalabilité.
- Garantir l'application des bonnes pratiques en matière de développement, de performance, de FinOps et d'éco-conception numérique.
- Contribuer activement à l'amélioration et l'évolution des frameworks et briques techniques de la plateforme Data.
- Participer au maintien en conditions opérationnelles (MCO) des applications Data et intervenir en support de niveau N3 en cas de dégradation ou d'incident critique.
- Réaliser des preuves de concept (PoC), audits techniques et études d'architecture pour explorer de nouvelles approches ou technologies.
Télétravail : 2 jours par semaine
Localisation : Paris
Profil recherché
Indispensables :
- Minimum 10 ans d'expérience en tant que développeur et Data Engineer.
- Expertise confirmée de Spark et Scala en environnement cloud public, idéalement AWS.
- Pratique intensive de Databricks pendant au moins 6 ans sur une plateforme en production avec gestion des performances et l'optimisation des coûts.
- Minimum 2 années complètes d'expérience dans la réalisation d'ingestions de données via des frameworks de développement spécifiques (au-delà des outils natifs Databricks).
- Expérience avérée en intégration de données multi-sources et multi-formats (JSON, CSV, Parquet, etc.).
- Certification AWS valide.
- Minimum 3 ans d'expérience en provisioning et gestion d'infrastructure AWS (VPC, IAM, S3, EC2, networking).
- Minimum 3 ans d'expérience en MCO de plateformes Data ou Big Data en production, incluant la gestion des incidents et l'optimisation continue.
- Maîtrise des outils de monitoring et observabilité (Grafana, Kibana, Datadog ou équivalent).
- Expérience significative en environnement Scrum Agile, avec une aisance à travailler en sprint et en collaboration étroite avec les équipes.
- Architecture distribuée et principes de traitement massivement parallèle.
Fortement appréciés :
- Expérience en Data Mesh et gouvernance Data distribuée.
- Connaissance de Power BI ou outils de BI en général pour comprendre les besoins aval des consommateurs de données.
- Pratique du FinOps et optimisation des coûts cloud.
- Sensibilité à l'éco-conception numérique et l'optimisation environnementale des traitements.
- Expérience en CI/CD et automation (GitLab CI/CD, GitHub Actions, etc.).
- Expérience en industrialisation de Data Platforms et mise en place de bonnes pratiques DevOps pour la Data.
- Capacité à accompagner et mentorier les équipes, avec une appétence pour le partage de connaissances et les PoC d'exploration technologique.