Data engineer - Datastage

Description de l'entreprise

Description de l'entreprise

Depuis plus de 20 ans, Talan est un groupe international de conseil et d’expertises technologiques qui accélère la transformation de ses clients par les leviers de l'innovation, la technologie et la data. Depuis plus de 20 ans, Talan conseille et accompagne les entreprises et les institutions publiques dans la mise en œuvre de leurs projets de transformation et d'innovation en France et à l'international. 

Présent sur cinq continents, dans 18 pays, le Groupe, certifié Great Place To Work, qui comptera plus de 7200 collaborateurs fin 2024, ambitionne de réaliser un chiffre d'affaires de 850 millions d'euros cette même année et de dépasser la barre du milliard d'euros à horizon 2025. 

Doté d'un Centre de recherche et d'innovation, Talan met l'innovation au cœur de son développement et intervient dans les domaines des mutations technologiques telles que l'Intelligence Artificielle, la Data Intelligence, la Blockchain, pour servir la croissance des grands groupes et des ETI dans une démarche engagée et responsable. www.talan.com   

En plaçant au cœur de sa stratégie « L’innovation Positive » le Groupe Talan est convaincu que c’est en étant au service de l’humain que la technologie démultiplie son potentiel pour la société. 

Talan Luxembourg:

Nous sommes une équipe de 150 collaborateurs répartis dans 4 pôles d’expertise : Data Technologies, Cloud & Application Services, Cybersecurity & Infrastructure et Consulting.

Chaque consultant est suivi par un team leader qui exerce le même métier pour les accompagner au mieux dans leur projet de carrière. Nous nous engageons à faire évoluer les compétences de chacun grâce à la formation et organisons des événements d’équipe tout au long de l’année pour cultiver le sentiment d'appartenance.

Bénéficiez d'un lieu de travail adapté à votre situation grâce à nos 3 bureaux à Luxembourg Gare, Bertrange et Emerange.

Description du poste

Vos tâches:

• Concevoir, développer et optimiser des pipelines de données sur IBM DataStage ou Databricks.

• Assurer l’intégration, la transformation et la gestion des données issues de diverses sources.

• Automatiser et optimiser les processus ETL pour améliorer les performances et la scalabilité.

• Mettre en place des contrôles de qualité des données et assurer leur fiabilité.

• Collaborer avec les équipes Data Science, BI et IT pour comprendre les besoins métiers et proposer des solutions adaptées.

• Assurer la documentation des flux et processus de données.

• Participer à l’évolution des architectures Data en proposant des améliorations et des innovations.

• Gérer la maintenance et le support des pipelines existants en identifiant et en corrigeant les anomalies.

Qualifications

Compétences techniques :

• Expertise avérée sur IBM DataStage ou Databricks (développement, optimisation, maintenance).

• Maîtrise des bases de données relationnelles (SQL, Oracle, PostgreSQL, etc.).

• Expérience avec des architectures ETL, Data Warehouse et Data Lake.

• Bonne compréhension des principes de modélisation des données.

• Expérience avec des outils et technologies Big Data (Spark, Hadoop, Kafka) est un plus.

• Connaissances en scripting (Python, Shell, etc.).

• Connaissance des principes de DataOps et des architectures data lake / data warehouse.

• Maîtrise des environnements Cloud (AWS, Azure, GCP) est un atout.