Análise de Dados PL (Híbrido/SP) - 124706
Alphaville - Barueri, BR, 06.454-000
GFT Technologies
We see opportunity in technology. In domains such as cloud, AI, mainframe modernisation, DLT and IoT, we blend established practice with new thinking to help our clients stay ahead.Profissional de nível PL que atue com Análise Dados. Irá atuar na modalidade híbrida 3x por semana – Itaim Bibi (São Paulo/SP).
Atividades:
· Desenvolver e otimizar pipelines de dados utilizando PySpark para processamento distribuído e transformação de grandes volumes de dados;
· Trabalhar com ferramentas de orquestração de workflows, como Airflow, para garantir a automação e o monitoramento adequado dos processos de dados;
· Projetar soluções de armazenamento e consulta eficientes usando Iceberg e AWS, garantindo a escalabilidade e a integridade dos dados;
· Escrever e otimizar consultas SQL para transformação e análise de dados em diferentes fontes de dados (relacionais e não-relacionais);
· Integrar dados de diferentes sistemas e fontes, com experiência em CRMs, especialmente Salesforce, para garantir a disponibilidade e qualidade dos dados em toda a organização;
· Trabalhar junto a equipes de dados, negócios e TI para entender os requisitos e implementar soluções de dados que atendam às necessidades de cada área;
· Garantir a qualidade, consistência e segurança dos dados, promovendo boas práticas de governança e compliance.
Requisitos e qualificações:
· Experiência prática em AWS, incluindo serviços como S3, Lambda, EMR, Redshift e outros serviços relacionados ao processamento e armazenamento de dados;
· Proficiência em PySpark para o processamento de grandes volumes de dados em ambientes distribuídos;
· Experiência com Airflow para orquestrar e automatizar pipelines de dados;
· Sólidos conhecimentos em SQL para manipulação e transformação de dados;
· Experiência com Iceberg para gerenciamento de dados em grandes volumes e em ambientes distribuídos.
· Experiência prévia com Salesforce ou outros CRMs, especialmente em integrar dados de CRMs a sistemas de análise e BI.
· Habilidade de colaborar com diferentes equipes, como desenvolvedores, analistas e gestores de negócios, para coletar requisitos e implementar soluções.
· Capacidade de identificar, diagnosticar e resolver problemas em pipelines de dados e processos relacionados.
· Projetar, desenvolver e otimizar pipelines de dados utilizando ferramentas como PySpark, Apache Kafka, RabbitMQ e NiFi.
· Implementar e manter soluções de processamento de dados em larga escala utilizando AWS, incluindo serviços como Amazon S3, Redshift, EMR, Lambda, entre outros.
· Utilizar e integrar tecnologias de processamento distribuído (Airflow, Iceberg) para orquestrar e gerenciar fluxos de dados.
· Trabalhar com grandes volumes de dados e garantir a qualidade, consistência e disponibilidade dos dados através de soluções robustas e escaláveis.
· Colaborar com times de desenvolvimento, análise de dados e arquitetura para definir e implementar requisitos de dados de forma eficiente e segura.
· Colaborar com times de desenvolvimento, análise de dados e arquitetura para definir e implementar requisitos de dados de forma eficiente e segura.
· Monitorar e otimizar a performance de sistemas de dados, identificando e corrigindo gargalos.
Descrição comportamental:
Procuramos uma pessoa que:
· Goste de trabalhar em equipe e seja colaborativa em suas atribuições;
· Tenha coragem para se desafiar e ir além, abraçando novas oportunidades de crescimento;
· Transforme ideias em soluções criativas e busque qualidade em toda sua rotina;
· Tenha habilidades de resolução de problemas;
· Possua habilidade e se sinta confortável para trabalhar de forma independente e gerenciar o próprio tempo;
· Tenha interesse em lidar com situações adversas e inovadoras no âmbito tecnológico.
Big enough to deliver – small enough to care.
#VempraGFT
#VamosVoarJuntos
#ProudToBeGFT
* Salary range is an estimate based on our AI, ML, Data Science Salary Index 💰
Tags: Airflow AWS Kafka Lambda Lidar NiFi Pipelines PySpark RabbitMQ Redshift Salesforce SQL
More jobs like this
Explore more career opportunities
Find even more open roles below ordered by popularity of job title or skills/products/technologies used.