[L6] Staff Data Engineer — Coupang Play

직무 개요

클라우드 분석(Cloud Analytics) 팀의 데이터 엔지니어로서, 데이터 레이크, 데이터 웨어하우스, 그리고 맞춤형 비즈니스 리포팅 및 예측을 지원하는 데이터 파이프라인의 설계, 개발, 유지 관리를 담당하게 됩니다.

이 역할에서는 매일 수 테라바이트의 데이터를 수집하고 처리하는 신뢰성 높고 확장 가능한 데이터 파이프라인을 구축하여, 비즈니스 전반에 걸쳐 정밀하고 신뢰할 수 있는 인사이트의 기반을 마련하게 됩니다. 대규모 환경에서 정확한 결과를 적시에 제공하기 위해 장애 허용성과 견고함을 확보해야 하며, 동시에 분석팀의 데이터 인프라와 도구를 지속적으로 개선할 기회를 발굴해야 합니다.

이상적인 후보자는 자율적으로 업무를 수행할 수 있으며, 세계적 수준의 분석 데이터 인프라가 어떤 모습이어야 하는지에 대한 명확한 관점을 가지고 있어야 합니다. 또한 다양한 팀과 협업하여 모호한 문제를 이해하고, 문제를 해결하며, 프로세스 효율성을 높이고, 비즈니스 리더들이 전략적 결정을 내릴 수 있도록 지원하는 기술 솔루션을 제공할 수 있어야 합니다.

주요 업무

• 기존 데이터 파이프라인을 관리 및 유지하여 작업 일관성, 데이터 무결성, 핵심 분석 데이터의 완전성을 보장합니다.
• 데이터 품질, 정확성, 거버넌스를 최고 수준으로 유지합니다.
• 운영, 영업, 제품팀부터 경영진까지 다양한 사용자를 위한 리포팅 솔루션용 데이터 제공을 위한 견고한 데이터 파이프라인을 개발 및 유지합니다.
• 실시간 데이터 생산 및 소비가 가능하도록 새로운 데이터 흐름 프레임워크를 설계하고 구축합니다.
• 데이터 분석가와 협업하여 핵심 데이터 소스를 개발, 최적화 및 개선합니다.
• 내부 이해관계자 및 외부 벤더와 협력하여 기존 원시 데이터 교환 방식을 개선합니다.

기본 자격 요건

• 컴퓨터공학 또는 관련 기술 분야의 학사 또는 석사 학위
• 알고리즘, 자료구조, 디자인 패턴, 데이터 파이프라인, 데이터 웨어하우징에 대한 깊은 이해를 바탕으로 한 5년 이상의 소프트웨어 개발 경험
• Java, Scala, Python 등 하나 이상의 프로그래밍 언어에 대한 실무 경험
• Kubernetes의 핵심 구성 요소 및 아키텍처에 대한 탄탄한 이해
• 외부 데이터를 수집 및 변환하여 리포팅에 활용할 수 있도록 API 서비스를 구축한 경험
• Spark 및 Hive를 활용한 분산 처리 실무 경험
• AWS 클라우드 플랫폼 사용 경험 및 확장성과 안정성에 대한 이해
• 내부/외부 부서와의 원활한 커뮤니케이션 능력과 문제 해결 중심의 적극적인 태도

우대 사항

• 영어 및 한국어 구사 능력 (말하기 및 쓰기)
• Prometheus, Grafana 등 시스템 모니터링 도구 및 지표에 대한 이해
• 온프레미스 환경에서 데이터 플랫폼 구축 경험
• Kafka, Redis, Hive/Spark on Hadoop 등 대규모 분산 인프라를 활용한 데이터 처리 경험
• AWS, GCP 등 클라우드 환경에서의 데이터 분석 및 인사이트 도출 경험, 특히 클라우드 사용량 및 소비 추적 경험
• 기술 분야 석사 학위