Engenheiro(a) de Dados | Dados

São Paulo, São Paulo, Brazil

Apply now Apply later

Sobre a vaga:

Estamos em busca de um(a) Engenheiro(a) de Dados com sólida experiência em ambientes de nuvem (GCP e AWS), proficiência em plataformas similares ao Databricks e forte capacidade técnica para estruturar e operar Data Lakes. O(a) profissional será responsável por desenhar, implementar e manter pipelines de dados robustas e escaláveis, garantindo a ingestão, processamento e disponibilização de dados em diferentes camadas (Raw, Refined, Curated).

Responsabilidades:

  • Projetar e implementar a arquitetura de um Data Lake em múltiplas camadas (Raw/Staging, Trusted/Refined e Curated/Business Layer).
  • Desenvolver, orquestrar e monitorar pipelines de dados usando ferramentas como Apache Spark, PySpark, Airflow, dbt ou equivalentes.
  • Trabalhar com GCP (BigQuery, Cloud Storage, Dataflow, Pub/Sub) e AWS (S3, Glue, Athena, Redshift, EMR) para construção de soluções escaláveis e seguras.
  • Criar processos eficientes de ingestão de dados em batch e streaming, integrando múltiplas fontes.
  • Colaborar com cientistas de dados, analistas e engenheiros de software para disponibilizar dados com qualidade e governança.
  • Garantir o versionamento, segurança e catalogação dos dados.
  • Atuar na otimização de performance, controle de custos e boas práticas em ambientes cloud.

Requisitos obrigatórios:

  • Experiência comprovada com Google Cloud Platform (GCP) e Amazon Web Services (AWS).
  • Vivência em ambientes semelhantes ao Databricks.
  • Experiência na construção de Data Lakes com no mínimo 3 camadas.
  • Domínio em Python, SQL e frameworks como Spark / PySpark.
  • Conhecimento em DataOps e CI/CD para pipelines de dados.
  • Experiência com ferramentas de orquestração de pipelines (Airflow, dbt, Step Functions, etc.).
  • Familiaridade com ferramentas de versionamento de código (Git, GitHub/GitLab).
  • Boas práticas de governança, qualidade e segurança de dados.


Desejável:

  • Certificações em GCP e/ou AWS.
  • Conhecimento em Data Mesh e arquiteturas orientadas a domínio.
  • Experiência com lakehouse architectures.
  • Experiência em infraestrutura como código (IaC), como Terraform.


Soft Skills:

  • Visão sistêmica e foco em performance e escalabilidade.
  • Boa comunicação com áreas técnicas e de negócio.
  • Proatividade e espírito colaborativo.
  • Capacidade de atuar em ambientes ágeis e com múltiplas prioridades.
Apply now Apply later

* Salary range is an estimate based on our AI, ML, Data Science Salary Index 💰

Job stats:  0  0  0

Tags: Airflow Architecture Athena AWS BigQuery CI/CD Databricks Dataflow DataOps dbt GCP Git GitHub GitLab Google Cloud Pipelines PySpark Python Redshift Spark SQL Step Functions Streaming Terraform

Region: South America
Country: Brazil

More jobs like this