Data Engineer Pleno
São Paulo, São Paulo, BR, 04730-000
Nestlé
Nestlé is the world's largest food & beverage company. We unlock the power of food to enhance quality of life for everyone, today and for generations to come.Propósito da posição
Entrar na Nestlé significa que você está se juntando à maior empresa de alimentos e bebidas do mundo. Em nosso núcleo, temos um ambiente diverso e inclusivo, com pessoas apaixonadas, movidas pelo propósito de melhorar a qualidade de vida e contribuir para um futuro mais saudável. E procuram a cada dia mais crescer juntas, ter espírito de dono e trabalhar com excelência.
Estamos buscando uma pessoa para atuar como Engenheiro de Dados, que será responsável pela coleta, processamento e integridade de dados, desenvolvimento e otimização de pipelines, além de colaborar em projetos multidisciplinares, promovendo a eficácia e qualidade das operações de engenharia de dados.
O dia a dia...
Otimizar o desempenho das consultas PySpark e SQL, tendo em conta o volume de dados, a complexidade das consultas e os recursos do sistema.
Aplicar conhecimentos sobre conceitos e ferramentas de pipeline de dados para implementar tarefas de transformação, limpeza e agregação de dados.
Centralizar e garantir a integridade de diferentes fontes de dados;
Seguir as melhores práticas de desenvolvimento de pipelines de dados, incluindo controle de versões, testes e documentação exaustiva.
Desenvolver boas práticas de estruturação de bases de dados, assegurando performance e qualidade dos dados.
Capacidade de demonstrar e pensar estratégicamente sobre negócios, produtos e contribuir para resolução e desafios técnicos;
Aplicar competências de programação em Python, PySpark, Scala e SQL para manipular e transformar dados de forma eficaz.
Colaborar nas estratégias de potencialização de cultura Data Driven na Nestlé.
Idealizar boas práticas de estruturação de bases de dados, assegurando performance e qualidade nos dados.
Contribuir para o desenvolvimento de programas de governança e democratização de dados;
O que vai contribuir para o seu sucesso?
Experiência de trabalho com tecnologias de big data, banco de dados e armazenamento/processamento de dados em nuvem, análise e modelagem de dados;
Habilidades em comunicação verbal são essenciais, bem como a capacidade de trabalhar de forma eficaz compartilhando proativamente e buscando contextos para colaborar em diferentes times;
Experiência em tecnologias, serviços de dados e conceitos de Big Data (Spark, Hadoop, Hive, MapReduce) e múltiplas linguagens (Python);
Experiência nas ferramentas de engenharia de dados da Azure (Databricks, Azure Data Factory, Storage Account, Analysis Services, etc);
Conhecimento sólido em PySpark ou em uma das principais linguagens de programação, e ser apaixonado(a) por escrever código limpo;
Habilidades em DevOps e CI /CD (Git);
Entendimento do ciclo de vida dos dados e conceitos, como linhagem, governança, privacidade, retenção, anonimização;
A Nestlé está há 100 anos presente em 99% dos lares brasileiros, líder mundial em alimentos e bebidas, que atua em 190 países com o propósito de revelar o poder dos alimentos para melhorar a qualidade de vida de todos, hoje e nas próximas gerações. Gostou de conhecer um pouco sobre a Nestlé? Em nosso site você tem acesso a um pouco mais da nossa história, valores e compromissos sociais: https://www.nestle.com
#TemosvagasemTI
* Salary range is an estimate based on our AI, ML, Data Science Salary Index 💰
Tags: Azure Big Data Databricks DevOps Git Hadoop Pipelines PySpark Python Scala Spark SQL
More jobs like this
Explore more career opportunities
Find even more open roles below ordered by popularity of job title or skills/products/technologies used.