Data Engineer AWS - SR/Espec

A Keyrus acredita na diversidade e na inclusão. Encorajamos a todos a participarem em nosso processo de contratação, não importando o gênero, idade, raça, religião. Não permitimos nenhum tipo de discriminação. Isto é reforçado no processo de contratação e vivido dessa forma na empresa.

Sabemos que grandes resultados só são alcançados com uma grande equipe, por isso procuramos pessoas talentosas e apaixonadas, com desejo de crescer profissionalmente e criar uma trajetória de carreira conosco. 

Papéis e Responsabilidades:

• Definir e implementar a estratégia de dados da empresa, alinhada com as necessidades de negócio e as melhores práticas de mercado.
• Projetar e liderar a implementação da arquitetura de dados e a gestão de infraestrutura.
• Desenvolver e implementar a governança de dados, incluindo políticas de segurança, qualidade, acesso e uso dos dados.
• Liderar e motivar uma equipe de engenheiros de dados, supervisionar e garantir a qualidade do trabalho da equipe, garantindo o cumprimento dos prazos e das expectativas.
• Estabelecer e gerenciar as melhores práticas de desenvolvimento, incluindo metodologias ágeis, revisões de código e testes automatizados.
• Projetar, desenvolver e implementar pipelines de dados complexos em tempo real e batch utilizando tecnologias AWS como Python, Airflow, Spark, Databricks e soluções de streaming (Kinesis, Kafka).
  
• Implementar e otimizar processos de ETL/ELT complexos para garantir a qualidade, integridade e consistência dos dados, lidando com grandes volumes e diferentes formatos de dados.
• Garantir a escalabilidade, a alta disponibilidade e a performance dos pipelines, utilizando técnicas de otimização e monitoramento avançados.
• Projetar e implementar esquemas de dados robustos e eficientes para armazenar e consultar dados em diferentes formatos, incluindo estruturas relacionais e NoSQL.
• Desenvolver e otimizar consultas SQL complexas para extração e transformação de dados, utilizando técnicas avançadas de otimização de performance.
• Aplicar técnicas de transformação de dados complexas para preparar os dados para análise e modelagem, incluindo limpeza, normalização, agregação e enriquecimento.
• Traduzir as necessidades de negócio em requisitos técnicos para os pipelines de dados, comunicando-se de forma clara e eficiente com stakeholders.
  
• Trabalhar em colaboração com cientistas de dados, analistas de negócios, líderes de projetos e outras equipes técnicas para garantir a entrega de soluções de alto valor.
• Documentar e comunicar os processos de dados, as soluções implementadas e os padrões estabelecidos para a equipe e outras áreas.

Qualificações Essenciais:

• Sólida experiência em Engenharia de Dados em AWS, incluindo desenvolvimento e gerenciamento de pipelines de dados complexos.
• Domínio de linguagens de programação como Python e experiência com frameworks como Spark, Airflow, Databricks e soluções de streaming (Kinesis, Kafka).
• Amplo conhecimento em SQL e capacidade de desenvolver e otimizar consultas complexas para diferentes tipos de bancos de dados.
• Experiência com conceitos de integração de dados (ETL/ELT), incluindo a implementação de soluções de alta performance e escalabilidade.
• Experiência na criação e operação de sistemas distribuídos e altamente disponíveis para extração, ingestão e processamento de grandes conjuntos de dados.
• Habilidade para interagir com usuários de negócio, entender suas demandas e traduzi-las em ações técnicas.
• Conhecimento e experiência com ferramentas e tecnologias de transformação de dados (ex: Spark SQL, Pandas, PySpark).
• Experiência com desenvolvimento, depuração e testes automatizados de processos de integração de dados.
• Comunicação eficaz com outros stakeholders técnicos e de negócio, incluindo a capacidade de apresentar ideias complexas de forma clara e concisa.
• Proficiência em Databricks, AWS, Unity Catalog, Open Metadata.
• Conhecimento em segurança de dados e compliance (LGPD e outras leis de proteção de dados).

Qualificações Desejáveis:

• Experiência com tecnologias de armazenamento de dados como S3, Redshift, DynamoDB, Athena e outras soluções AWS.
• Experiência com liderança de equipes de engenharia de dados e gestão de projetos.
• Conhecimento de boas práticas de desenvolvimento e metodologias ágeis.
• Experiência com bancos de dados NoSQL, como MongoDB, Cassandra ou DynamoDB.
• Familiaridade com conceitos de Machine Learning e Data Science.
• Experiência em Python, SQL, Spark para desenvolvimento e otimização.
• Capacidade de otimizar pipelines e queries para alta performance.

Nossa missão é Auxiliar as empresas a extrair todo o potencial de Dados e Digital objetivando aumentar seu desempenho, ajudando na transformação, gerando novas alavancas de crescimento e competitividade.

Vem fazer parte do Time Keyrus!

Se você quiser saber mais sobre nós, convidamos você a visitar nosso site: http://www.keyrus.com/br/

Desejamos boa sorte! 😊🚀