[Job - 22525] MidLevel Data Developer (Databricks, Spark/PySpark e Python), Brazil
Brazil
Somos especialistas em transformação tecnológica, unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 6.500 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1.000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade.
Importante: posições localizadas na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequência vigente.
Estamos buscando um Data Developer apaixonado por tecnologia e com expertise em construir e manter pipelines de dados robustos e escaláveis. Se você possui um profundo conhecimento de engenharia de dados, domínio de ferramentas como Databricks e Azure, e paixão por trabalhar com dados, esta é a oportunidade perfeita para você!
Suas responsabilidades serão:
- Projetar e implementar pipelines de dados complexos e eficientes utilizando Databricks e Azure Data Factory, seguindo padrões de arquitetura Medalhão.- Dominar o processo ETL, garantindo a qualidade dos dados em todas as etapas, desde a extração até a carga.Modelar dados dimensionalmente e implementar políticas de governança de dados rigorosas.- Desenvolver e manter código em Spark/PySpark e Python, com foco em orientação a objetos, utilizando boas práticas de engenharia de dados.- Escrever e otimizar consultas SQL para garantir o acesso eficiente aos dados.- Diagnosticar e solucionar problemas relacionados aos dados, garantindo a estabilidade e o desempenho dos pipelines.- Colaborar com diferentes áreas de negócio para entender as necessidades de dados e traduzi-las em soluções eficazes.- Implementar testes unitários e testes de integração para garantir a qualidade do código e dos pipelines de dados.- Aplicar princípios de FinOps para otimizar os custos relacionados à infraestrutura e aos serviços de dados.- Orquestrar pipelines de dados complexos utilizando workflows e Azure Data Factory.- Comunicar-se de forma clara e eficiente com a equipe, contribuindo para um ambiente colaborativo e de alto desempenho.
Requisitos essenciais para a posição:
- Experiência comprovada em engenharia de dados, incluindo o desenvolvimento de pipelines de dados complexos.- Sólida experiência em SQL, Python e Spark/PySpark, com domínio de serviços em nuvem Azure.- Conhecimento de bancos de dados, governança de dados e modelagem de dados.- Experiência com processos ETL, particularmente utilizando Databricks e Azure Data Factory.- Capacidade de se manter atualizado com as últimas tendências e tecnologias em engenharia de dados.- Experiência com testes automatizados e familiaridade com frameworks de testes.
Diferenciais para se destacar:
- Sólida experiência em desenvolvimento com Python, com ênfase em programação orientada a objetos.- Experiência com outras linguagens de programação.- Certificações ou treinamento formal em serviços em nuvem Azure e Databricks.- Habilidades de comunicação, com capacidade de explicar conceitos técnicos complexos de forma clara e concisa.- Experiência na implementação de processos de governança de dados, utilizando ferramentas de data quality, profiling, catálogo e linhagem de dados.- Experiência com processamento em streaming de dados, com capacidade de escolher a melhor abordagem para cada cenário.- Experiência com Microstrategy.
Se você está pronto para assumir desafios e fazer a diferença em uma empresa inovadora, envie seu currículo!
Junte-se à nossa equipe e ajude-nos a transformar dados em insights valiosos!
#MidLevel#LI-DR3
Nossos benefícios:
- Plano de saúde e odontológico;- Vale alimentação e refeição;- Auxílio-creche;- Licença paternagem estendida;- Wellhub (Gympass)- TotalPass- PLR;- Seguro de Vida;- CI&T University;- Clube de descontos;- Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar. - Curso gestante e paternagem responsável;- Parceria com plataformas de cursos online;- Plataforma para aprendizagem de idiomas;- E muitos outros.
Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt-br/carreiras
A colaboração é nosso superpoder, diversidade nos une, e a excelência é nosso padrão.Valorizamos a diversidade de identidades e experiências de vida, fomentando um ambiente de trabalho diverso, inclusivo e seguro. Incentivamos a candidatura de pessoas de comunidades diversas e sub-representadas às nossas vagas.
Importante: posições localizadas na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequência vigente.
Estamos buscando um Data Developer apaixonado por tecnologia e com expertise em construir e manter pipelines de dados robustos e escaláveis. Se você possui um profundo conhecimento de engenharia de dados, domínio de ferramentas como Databricks e Azure, e paixão por trabalhar com dados, esta é a oportunidade perfeita para você!
Suas responsabilidades serão:
- Projetar e implementar pipelines de dados complexos e eficientes utilizando Databricks e Azure Data Factory, seguindo padrões de arquitetura Medalhão.- Dominar o processo ETL, garantindo a qualidade dos dados em todas as etapas, desde a extração até a carga.Modelar dados dimensionalmente e implementar políticas de governança de dados rigorosas.- Desenvolver e manter código em Spark/PySpark e Python, com foco em orientação a objetos, utilizando boas práticas de engenharia de dados.- Escrever e otimizar consultas SQL para garantir o acesso eficiente aos dados.- Diagnosticar e solucionar problemas relacionados aos dados, garantindo a estabilidade e o desempenho dos pipelines.- Colaborar com diferentes áreas de negócio para entender as necessidades de dados e traduzi-las em soluções eficazes.- Implementar testes unitários e testes de integração para garantir a qualidade do código e dos pipelines de dados.- Aplicar princípios de FinOps para otimizar os custos relacionados à infraestrutura e aos serviços de dados.- Orquestrar pipelines de dados complexos utilizando workflows e Azure Data Factory.- Comunicar-se de forma clara e eficiente com a equipe, contribuindo para um ambiente colaborativo e de alto desempenho.
Requisitos essenciais para a posição:
- Experiência comprovada em engenharia de dados, incluindo o desenvolvimento de pipelines de dados complexos.- Sólida experiência em SQL, Python e Spark/PySpark, com domínio de serviços em nuvem Azure.- Conhecimento de bancos de dados, governança de dados e modelagem de dados.- Experiência com processos ETL, particularmente utilizando Databricks e Azure Data Factory.- Capacidade de se manter atualizado com as últimas tendências e tecnologias em engenharia de dados.- Experiência com testes automatizados e familiaridade com frameworks de testes.
Diferenciais para se destacar:
- Sólida experiência em desenvolvimento com Python, com ênfase em programação orientada a objetos.- Experiência com outras linguagens de programação.- Certificações ou treinamento formal em serviços em nuvem Azure e Databricks.- Habilidades de comunicação, com capacidade de explicar conceitos técnicos complexos de forma clara e concisa.- Experiência na implementação de processos de governança de dados, utilizando ferramentas de data quality, profiling, catálogo e linhagem de dados.- Experiência com processamento em streaming de dados, com capacidade de escolher a melhor abordagem para cada cenário.- Experiência com Microstrategy.
Se você está pronto para assumir desafios e fazer a diferença em uma empresa inovadora, envie seu currículo!
Junte-se à nossa equipe e ajude-nos a transformar dados em insights valiosos!
#MidLevel#LI-DR3
Nossos benefícios:
- Plano de saúde e odontológico;- Vale alimentação e refeição;- Auxílio-creche;- Licença paternagem estendida;- Wellhub (Gympass)- TotalPass- PLR;- Seguro de Vida;- CI&T University;- Clube de descontos;- Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar. - Curso gestante e paternagem responsável;- Parceria com plataformas de cursos online;- Plataforma para aprendizagem de idiomas;- E muitos outros.
Mais detalhes sobre os nossos benefícios aqui: https://ciandt.com/br/pt-br/carreiras
A colaboração é nosso superpoder, diversidade nos une, e a excelência é nosso padrão.Valorizamos a diversidade de identidades e experiências de vida, fomentando um ambiente de trabalho diverso, inclusivo e seguro. Incentivamos a candidatura de pessoas de comunidades diversas e sub-representadas às nossas vagas.
* Salary range is an estimate based on our AI, ML, Data Science Salary Index 💰
Job stats:
0
0
0
Category:
Engineering Jobs
Tags: Azure Databricks Data quality ETL Pipelines PySpark Python Spark SQL Streaming
Perks/benefits: Fitness / gym
Region:
South America
Country:
Brazil
More jobs like this
Explore more career opportunities
Find even more open roles below ordered by popularity of job title or skills/products/technologies used.
Power BI Developer jobsPrincipal Data Engineer jobsSr. Data Engineer jobsBI Developer jobsStaff Data Scientist jobsPrincipal Software Engineer jobsStaff Machine Learning Engineer jobsData Science Intern jobsDevOps Engineer jobsData Science Manager jobsJunior Data Analyst jobsSoftware Engineer II jobsData Manager jobsData Analyst Intern jobsLead Data Analyst jobsStaff Software Engineer jobsBusiness Data Analyst jobsAccount Executive jobsAI/ML Engineer jobsSr. Data Scientist jobsData Specialist jobsData Governance Analyst jobsSenior Backend Engineer jobsBusiness Intelligence Analyst jobsData Engineer III jobs
Consulting jobsMLOps jobsAirflow jobsOpen Source jobsLinux jobsEconomics jobsKPIs jobsTerraform jobsJavaScript jobsKafka jobsGitHub jobsData Warehousing jobsPostgreSQL jobsRDBMS jobsComputer Vision jobsNoSQL jobsScikit-learn jobsClassification jobsStreaming jobsBanking jobsGoogle Cloud jobsPhysics jobsPrompt engineering jobsRAG jobsOracle jobs
Hadoop jobsPandas jobsR&D jobsBigQuery jobsdbt jobsScala jobsData warehouse jobsLooker jobsReact jobsGPT jobsPySpark jobsDistributed Systems jobsScrum jobsCX jobsIndustrial jobsLangChain jobsELT jobsMicroservices jobsRedshift jobsSAS jobsJira jobsOpenAI jobsJenkins jobsModel training jobsRobotics jobs