Engenheiro(a) de Dados | Dados
São Paulo, São Paulo, Brazil
BTG Pactual
Sobre a vaga:
Estamos em busca de um(a) Engenheiro(a) de Dados com sólida experiência em ambientes de nuvem (GCP e AWS), proficiência em plataformas similares ao Databricks e forte capacidade técnica para estruturar e operar Data Lakes. O(a) profissional será responsável por desenhar, implementar e manter pipelines de dados robustas e escaláveis, garantindo a ingestão, processamento e disponibilização de dados em diferentes camadas (Raw, Refined, Curated).
Responsabilidades:
- Projetar e implementar a arquitetura de um Data Lake em múltiplas camadas (Raw/Staging, Trusted/Refined e Curated/Business Layer).
- Desenvolver, orquestrar e monitorar pipelines de dados usando ferramentas como Apache Spark, PySpark, Airflow, dbt ou equivalentes.
- Trabalhar com GCP (BigQuery, Cloud Storage, Dataflow, Pub/Sub) e AWS (S3, Glue, Athena, Redshift, EMR) para construção de soluções escaláveis e seguras.
- Criar processos eficientes de ingestão de dados em batch e streaming, integrando múltiplas fontes.
- Colaborar com cientistas de dados, analistas e engenheiros de software para disponibilizar dados com qualidade e governança.
- Garantir o versionamento, segurança e catalogação dos dados.
- Atuar na otimização de performance, controle de custos e boas práticas em ambientes cloud.
Requisitos obrigatórios:
- Experiência comprovada com Google Cloud Platform (GCP) e Amazon Web Services (AWS).
- Vivência em ambientes semelhantes ao Databricks.
- Experiência na construção de Data Lakes com no mínimo 3 camadas.
- Domínio em Python, SQL e frameworks como Spark / PySpark.
- Conhecimento em DataOps e CI/CD para pipelines de dados.
- Experiência com ferramentas de orquestração de pipelines (Airflow, dbt, Step Functions, etc.).
- Familiaridade com ferramentas de versionamento de código (Git, GitHub/GitLab).
- Boas práticas de governança, qualidade e segurança de dados.
Desejável:
- Certificações em GCP e/ou AWS.
- Conhecimento em Data Mesh e arquiteturas orientadas a domínio.
- Experiência com lakehouse architectures.
- Experiência em infraestrutura como código (IaC), como Terraform.
Soft Skills:
- Visão sistêmica e foco em performance e escalabilidade.
- Boa comunicação com áreas técnicas e de negócio.
- Proatividade e espírito colaborativo.
- Capacidade de atuar em ambientes ágeis e com múltiplas prioridades.
* Salary range is an estimate based on our AI, ML, Data Science Salary Index 💰
Tags: Airflow Architecture Athena AWS BigQuery CI/CD Databricks Dataflow DataOps dbt GCP Git GitHub GitLab Google Cloud Pipelines PySpark Python Redshift Spark SQL Step Functions Streaming Terraform
More jobs like this
Explore more career opportunities
Find even more open roles below ordered by popularity of job title or skills/products/technologies used.