Senior Data Engineer

En tant que Data Ingestion Engineer, vous prendrez en charge le cycle complet de vie des pipelines de données au sein de la Data Ingestion Factory de TotalEnergies. 1.1. Développement & Ingestion·        Développer et maintenir des pipelines d’ingestion robustes et industrialisés·        Implémenter des connecteurs vers : APIs REST, bases relationnelles/NoSQL, systèmes de fichiers (Windows, Linux, SharePoint), plateformes SaaS, streaming et event-driven·        Participer aux choix techniques et à l’amélioration des composants réutilisables·        Garantir qualité, maintenabilité et lisibilité du code 1.2. Industrialisation & CI/CD·        Mettre en œuvre les pratiques CI/CD et automatiser les déploiements·        Appliquer les standards de la Data Factory : packaging Python, unit tests, code review·        Réaliser les tests d’intégration en environnement DEV conjointement avec TotalEnergies 1.3. Monitoring & Run·        Assurer le monitoring et le support opérationnel des pipelines en production·        Analyser et résoudre les incidents et anomalies (hotfix inclus)·        Améliorer l’observabilité, l’alerting et le troubleshooting·        Piloter la consommation des ressources cloud (approche FinOps) 1.4. Delivery & Collaboration·        Participer aux cérémonies Agile (sprint planning, daily, review, rétrospective)·        Réaliser les code reviews internes et avec les équipes TotalEnergies·        Contribuer aux KPIs de delivery : First Time Right, vélocité, stabilité des pipelines 1.5. Documentation & Knowledge·        Produire et maintenir la documentation technique sur Confluence (en anglais)·        Contribuer au partage de connaissances et à l’onboarding des nouveaux membres 2. Environnement techniqueStack principale (Must Know) :  Python / PySpark / Pandas SQL / WebSocket AWS Databricks Prefect Confluent / Kafka Docker GitHub Actions / CI-CD Git / Code Reviews Jira / Confluence      Nice to Have :  Streaming avancé Event-driven architecture Kubernetes FinOps Trading / Énergie / Finance    3. Compétences requises3.1. Must Have·        Expérience significative en développement de pipelines d’ingestion de données·        Maîtrise de Python et des environnements cloud data modernes·        Capacité à travailler sur des flux batch, temps réel et event-driven·        Production mindset : code robuste, maintenable, orienté run (« you build it, you run it »)·        Expérience Agile/Scrum, Git, Pull Requests, Code Reviews·        Anglais professionnel pour la documentation | Français courant 3.2. Compétences importantes·        Expérience sur des environnements industrialisés ou de type Data Factory·        Sensibilité aux problématiques CI/CD, monitoring et observabilité·        Gestion de documentation technique et partage de connaissances·        Sensibilité FinOps et optimisation des ressources cloud 3.3. Profil non recherchéCe poste n’est pas orienté Data Science, Data Analyse, Machine Learning, BI/Reporting ou analyse métier. 4. Soft Skills & Mindset·        Autonomie et ownership : approche « you build it, you run it »·        Rigueur et orientation qualité des livrables·        Proactivité dans la résolution de problèmes et l’amélioration continue·        Excellent esprit d’équipe dans un contexte international et distribué·        Capacité à communiquer clairement avec des équipes techniques et delivery·        Adaptabilité dans un environnement en forte évolution 5. Expérience & FormationExpérience : 4 à 6 ans en Data Engineering, avec expérience concrète en data ingestion, industrialisation ou delivery de pipelines. Atouts particuliers :·        Expérience sur des plateformes data à grande échelle (Data Factory, Data Platform)·        Projets orientés build-to-run ou support de production·        Collaboration avec des équipes internationales ou distribuées·        Certifications Databricks, AWS, Kafka/Confluent (nice to have) Formation : Diplôme d’ingénieur ou équivalent en informatique, data engineering ou software engineering. Préférence pour Polytechnique ou ESPRIT.