Data Engineer SR - AWS/Databricks

A Keyrus acredita na diversidade e na inclusão. Encorajamos a todos a participarem em nosso processo de contratação, não importando o gênero, idade, raça, religião. Não permitimos nenhum tipo de discriminação. Isto é reforçado no processo de contratação e vivido dessa forma na empresa.

Sabemos que grandes resultados só são alcançados com uma grande equipe, por isso procuramos pessoas talentosas e apaixonadas, com desejo de crescer profissionalmente e criar uma trajetória de carreira conosco. 

Papéis e Responsabilidades:

• Liderar o desenho e implementação da arquitetura de dados, incluindo a definição de camadas de dados, padrões de modelagem e melhores práticas de integração.
• Projetar, desenvolver e implementar soluções de integração de dados complexas, utilizando tecnologias como AWS, Databricks, SQL, Python, PySpark e outras ferramentas da AWS.
• Criar e otimizar pipelines de dados (batch e streaming) para processar dados estruturados e não estruturados de diferentes fontes.
• Implementar soluções de mensageria e escalabilidade de dados para garantir a performance e a confiabilidade dos processos.
• Desenvolver e implementar processos de transformação de dados complexos para garantir a qualidade, consistência e integridade dos dados.
• Definir e implementar políticas de governança de dados para garantir a segurança, a qualidade e a conformidade com as leis e regulamentações.
• Implementar mecanismos de detecção de anomalias e alertas para garantir a integridade dos dados e a detecção de problemas.
• Traduzir as necessidades de negócio em requisitos técnicos para os processos de integração de dados, comunicando-se de forma clara e eficiente com stakeholders.
• Trabalhar em colaboração com analistas de dados, cientistas de dados, líderes de projetos e outras equipes técnicas para garantir a entrega de soluções de alto valor.
• Apoiar as equipes na utilização dos metadados técnicos armazenados nos repositórios.
• Realizar avaliação de conformidade dos processos de integração de dados implementados.

Qualificações Essenciais:

• Experiência sólida em projetos de BI, modelagem de dados e arquitetura de dados, com foco em soluções de integração de dados complexas e escaláveis.
• Profundo conhecimento e experiência com bancos de dados relacionais e não relacionais, incluindo modelagem de dados e otimização de queries.
• Experiência com tecnologias, ferramentas e arquiteturas de Data Warehousing (DW), incluindo a implementação de soluções de ETL/ELT.
• Experiência com desenvolvimento de processamento de dados (streaming e batch), mensageria e escalabilidade de dados.
• Experiência com o ecossistema AWS, incluindo ferramentas como S3, Redshift, Glue, EMR, Kinesis, Lambda, Athena, Databricks, entre outras.
• Domínio de linguagens de programação como Python e experiência com frameworks como PySpark, Spark, Airflow.
• Habilidade em SQL para a manipulação e análise de dados, incluindo a otimização de queries complexas.
• Experiência com a implementação de soluções de governança de dados e monitoramento de qualidade de dados.
• Excelente comunicação e habilidades interpessoais para colaborar efetivamente com diferentes stakeholders.
• Forte capacidade de resolução de problemas e de pensar de forma estratégica.

Qualificações Desejáveis:

• Experiência com desenvolvimento de APIs RESTful para integração de dados.
• Conhecimento de boas práticas de desenvolvimento e metodologias ágeis.
• Familiaridade com conceitos de Machine Learning e Data Science.
• Certificações AWS relevantes.
• Experiência com ferramentas de visualização de dados, como Tableau, Power BI ou Qlik Sense.

Nossa missão é Auxiliar as empresas a extrair todo o potencial de Dados e Digital objetivando aumentar seu desempenho, ajudando na transformação, gerando novas alavancas de crescimento e competitividade.

Vem fazer parte do Time Keyrus!

Se você quiser saber mais sobre nós, convidamos você a visitar nosso site: http://www.keyrus.com/br/

Desejamos boa sorte! 😊🚀