Senior Data Engineer - Pipelines de Datos en AWS
Mexico City, Mexico - Remote
DaCodes
Empower your company's future with DaCodes' world-class software solutions and expert team. Scale efficiently, innovate, and transform your business today.¡Trabaja en DaCodes!
Somos una firma de expertos en software y transformación digital de alto impacto.
Durante 10 años hemos desarrollado soluciones innovadoras y tecnológicas gracias a nuestro equipo de +220 talentosos #DaCoders, quienes colaboran en proyectos con clientes en LATAM y Estados Unidos, logrando resultados sobresalientes.
En DaCodes, tendrás la oportunidad de impulsar tu desarrollo profesional trabajando con tecnologías de punta y participando en proyectos desafiantes que impactan a grandes empresas globales.
Nuestros DaCoders son parte fundamental del éxito de la empresa y de nuestros clientes. Podrás trabajar con startups disruptivas y marcas globales, aportando tu experiencia y conocimiento.
Requirements
Ingeniero de Datos
Descripción del puesto
Buscamos un Ingeniero de Datos con experiencia en ingesta y orquestación nativa en AWS, modelado de Data Lakes y Data Warehouses, procesamiento de datos a gran escala, aseguramiento de la calidad y gobernanza de datos.
El candidato ideal debe tener conocimientos en la construcción y automatización de pipelines para ingesta de datos, modelado de datos en formatos open-table, procesamiento con Spark y Lambda, y experiencia en CI/CD y observabilidad para ambientes de datos.
Requisitos
- Experiencia comprobada en arquitecturas nativas de AWS para ingesta y orquestación de datos.
- Manejo avanzado de herramientas y servicios para procesamiento de datos a gran escala (Spark, Lambda, Kinesis).
- Conocimientos sólidos en modelado de datos open-table y arquitecturas de Data Lake y Data Warehouse.
- Dominio de programación en Python o Scala para ETL/ELT y transformaciones.
- Experiencia en aseguramiento de calidad de datos y monitoreo continuo (Great Expectations, Datadog).
- Conocimiento de seguridad en la nube, cifrado y gobernanza de datos.
- Inglés preferente, para comunicación técnica efectiva con equipos internacionales (no excluyente).
Habilidades Deseables - Generación automática de pipelines mediante plantillas en Terraform o CDK para despliegues parametrizados.
- Experiencia con sistemas de feature serving en tiempo real como SageMaker Feature Store, DynamoDB o Redis.
- Competencia en FinOps, optimizando costos en infraestructura serverless o con escalado inteligente.
- Diseño de esquemas para gamification y ad-tech, manejando eventos a alta velocidad (10k eventos/seg).
- Conocimiento en frameworks de experimentación como A/B testing, medición de incrementalidad o aprendizaje por refuerzo para juegos personalizados.
Responsabilidades - Construir pipelines batch o micro-batch (SLA ≤ 24 horas) para ingesta de eventos y perfiles desde S3/Kinesis hacia almacenes de datos (Data Warehouse).
- Automatizar DAGs específicos de campañas con AWS Step Functions o Managed Airflow, que se provisionan al inicio y se eliminan tras finalizar la campaña.
- Modelar datos en formatos open-table particionados en S3 usando tecnologías como Iceberg, Hudi o Delta, con versionado por campaña.
- Realizar cargas ELT a Redshift Serverless o consultas en Athena/Trino usando patrones de snapshot e incrementales.
- Desarrollar transformaciones de datos con Glue Spark jobs o EMR en EKS para procesos pesados, y usar Lambda o Kinesis Data Analytics para enriquecimientos ligeros.
- Programar en Python (PySpark, Pandas, boto3) o Scala para procesamiento de datos.
- Implementar pruebas declarativas de calidad de datos con herramientas como Great Expectations o Deequ que se ejecutan diariamente durante campañas activas.
- Gestionar pipelines de infraestructura y código mediante GitHub Actions o CodePipeline, con alertas configuradas en CloudWatch o Datadog.
- Asegurar seguridad y gobernanza de datos con Lake Formation, cifrado a nivel de columna y cumplimiento de normativas como GDPR/CCPA.
- Gestionar roles IAM con principio de mínimo privilegio para pipelines de campañas temporales.
- Exponer modelos semánticos en Redshift/Athena para herramientas BI como Looker (LookML, PDTs) o conectados a Trino.
Benefits
Beneficios de trabajar en DaCodes
🚀 Trabaja con marcas globales y startups disruptivas.
🏡 Trabajo remoto/Home office.
📍 Si se requiere modalidad híbrida o presencial, se te informará desde la primera sesión.
⏳ Horario ajustado a la célula de trabajo/proyecto asignado.
📅 Trabajo de lunes a viernes.
⚖️ Beneficios legales (aplican para México).
🎉 Día off en tu cumpleaños.
🏥 Seguro de gastos médicos mayores (aplica para México).
🛡️ Seguro de vida (aplica para México).
🌎 Equipos de trabajo multiculturales.
🎓 Acceso a cursos y certificaciones.
📢 Meetups con invitados especiales del área de IT.
📡 Eventos virtuales de integración y grupos de interés.
📢 Clases de inglés.
🏆 Oportunidades dentro de nuestras diferentes líneas de negocio.
🏅 Orgullosamente certificados como Great Place to Work.
* Salary range is an estimate based on our AI, ML, Data Science Salary Index 💰
Tags: A/B testing Airflow Athena AWS CI/CD Data Analytics Data warehouse DynamoDB ELT ETL GitHub Kinesis Lake Formation Lambda Looker LookML Pandas Pipelines PySpark Python Redshift SageMaker Scala Spark Step Functions Terraform Testing
More jobs like this
Explore more career opportunities
Find even more open roles below ordered by popularity of job title or skills/products/technologies used.