Expert(e) GCP / S3NS — Data Engineer confirmé(e)
Description de la mission
Rejoins un projet stratégique et ambitieux au sein de la direction en charge de l'optimisation des flux amont-aval et du trading d'un grand groupe énergétique, qui pilote l'équilibre production-commercialisation de l'électricité 24h/24 et 365 jours par an. Tu intégreras l'équipe en charge du lac de données de cette direction, actuellement engagée dans une migration ambitieuse de son infrastructure Hadoop vers Google Cloud Platform dans un cloud souverain.
Tu rejoindras une équipe de développement d'une quinzaine de personnes fonctionnant en Agile SCRUM (sprints de 3 semaines), aux côtés de développeurs métier et data engineers largement hybridés, sur un environnement où les usages critiques se développent au quotidien : plus de 200 utilisateurs actifs par mois, 120 applications connectées, 15 To de données en fichier et 4 To en table.
En tant qu'expert Google Cloud Platform et S3NS, tu évalues l'infrastructure actuelle et proposes des scénarios de transition argumentés. Tu participes activement à la conception et à la mise en œuvre de l'architecture transitoire et cible, tu testes les solutions dans le cadre des usecases métier de la direction concernée, et tu mesures performances et coûts pour orienter les décisions.
Au-delà du conseil, tu prends en charge des développements concrets lors des sprints : éléments de framework, Terraform, pipelines de chargement, création de tables, scripts de migration, gestion des habilitations. Tu assures aussi la relecture critique et la validation des développements réalisés par d'autres membres seniors de l'équipe, et tu contribues à la montée en compétence collective sur GCP, S3NS et les bonnes pratiques de sécurité et de gestion des données.
Profil recherché
Nous cherchons un profil expert ou senior sur les solutions Data en environnement GCP, à l'aise aussi bien sur le conseil architecture que sur le développement concret. Tu maîtrises BigQuery, Google Cloud Storage, GKE et Cloud Run, DataProc, Pub/Sub, Cloud Composer, DataForm et Terraform, ainsi que les services d'identification et d'habilitation et les APIs standard Google. Une bonne connaissance de SQL est indispensable, complétée par une pratique de Python, Java, Scala et Spark.
Une expérience, même partielle, sur des technologies Big Data on-premise type HDFS, HBase, Phoenix, NIFI, Kafka, Airflow ou ElasticSearch sera appréciée, tout comme des notions de développement d'IHM en Angular, JavaScript ou Spring Boot. Tu es à l'aise dans un environnement Agile SCRUM à l'échelle (PI, sprints, cérémonies), autonome, rigoureux(se), et tu sais faire preuve de pédagogie pour accompagner la montée en compétence de l'équipe.
Un anglais technique de base suffit ; la connaissance des mécanismes de marché de l'électricité n'est pas un prérequis.
Qualité de la mission
C'est l'opportunité de piloter une migration cloud d'envergure sur un environnement à fort enjeu métier, avec une vraie liberté d'action sur les choix d'architecture, au sein d'une équipe qui valorise l'expertise technique autant que la capacité à transmettre.