Data Engineer Confirmé Hadoop / Spark / Scala - H/F

Description de l'entreprise

Dans le TOP10 des Sociétés de Conseil en Ingénierie en France, le Groupe SCALIAN intervient sur des activités de services en management de projets industriels, supply chain, architecture et développement de systèmes numériques embarqués, applicatifs de systèmes d'information et d'Intelligence artificielle dans des secteurs d’activité aussi variés que l’aéronautique, le spatial, l’automobile, le ferroviaire, les services, le luxe ou le retail etc.

Créée en 1989, SCALIAN compte aujourd’hui plus de 5500 collaborateurs répartis dans 11 pays et 15 implantations en France pour un chiffre d’affaires de 550 millions d’euros. SCALIAN travaille pour des grands Groupes du CAC40 sur des projets en AT ou au forfait.

Labellisée Great Place to Work, SCALIAN connait une croissance de 20% chaque année. 

Pourquoi SCALIAN ?

• Parce que Scalian vous accompagne dans le développement de votre carrière : programme d'onboarding complet sur 1 an avec votre manager et votre RH, programmes de formation personnalisés, communautés techniques, événements internes
• Parce que Scalian favorise la Qualité de Vie au Travail : certifications Great Place to Work® et Best Workplaces for Women, prime de cooptation, prime vacances, accord télétravail
• Parce que Scalian développe une politique RSE concrète et ambitieuse : mobilité durable, actions environnementales, accord Handicap et mission handicap avec temps dédié

Description du poste

Nous recherchons un data engineer Hadoop / Spark / Scala. Vous jouerez un rôle clé dans l’évolution et la gestion des plateformes Big Data. Vous intégrerez une équipe dédiée et évoluerez dans un environnement agile, en interaction avec les équipes techniques et métiers.

Vos missions :

• Gérer la production et la dette technique du RiskLake.
• Revoir l’architecture actuelle et proposer des évolutions.
• Développer des pipelines d’ingestion et de traitement des données (batch & streaming).
• Assurer la collecte, la transformation et la mise à disposition des données aux équipes métiers.
• Mettre en place et industrialiser les traitements sur les données (ex : tableaux de bord, intégration de modèles statistiques).
• Développer et optimiser des jobs Spark / PySpark pour le traitement des données.
• Implémenter des API et des mécanismes de restitution (génération de fichiers, dashboarding).
• Participer à l’installation, administration et configuration des clusters Hadoop.
• Normaliser et agréger les données afin de produire des Business Views exploitables.
• Mettre en place des pipelines CI/CD et des scripts d’automatisation.

Environnement technique :

• Big Data & Traitement : Spark, PySpark, Scala, Hadoop (on-premise), Hive, HQL
• Stockage & Bases de données : Starburst, Indexima, SQL
• Développement & Automatisation : Unix/Bash, Jenkins, XLDeploy, XLRelease
• Orchestration & Monitoring : Jira, CI/CD, Spring Boot
• Streaming & API : Kafka, ingestion et restitution des données via API

Qualifications

• Titulaire d'un Bac +5 en informatique ou équivalent, vous justifiez d'au moins 3 ans d'expérience  en tant que Data Engineer avec une expertise en Big Data & Hadoop.
• Bonne maîtrise de Spark, PySpark, Scala et des environnements on-premise.
• Connaissance approfondie des outils SQL/HQL, Hive, Starburst, Indexima.
• Expérience en développement et automatisation de pipelines CI/CD.
• Capacité à travailler en équipe agile et en interaction avec les métiers.
• Sens de l’analyse, autonomie et rigueur.