Data Engineer (산업기능요원)
Seoul, South Korea
Tridge
We connect buyers and suppliers worldwide, offering global food sourcing, latest market insights, import/export data, and food prices to make trade easier.이러한 목표를 함께 이루고자 합니다:
트릿지의 데이터 엔지니어는 창의적인 사고를 통해 Data Acquisition, Data Processing, AI 및 소프트웨어 개발 기술을 활용하여 트릿지의 비즈니스를 혁신하는 솔루션을 만드는 역할을 수행합니다. 각기 다른 국가의 여러 소스로부터 수집되는 비정형 데이터는 모든 Operation 및 Intelligence 서비스로 이어지기에 데이터의 획득 및 가공, 정형화 프로세스는 매우 중요하며, 데이터의 복잡도나 Variation을 다루는 과정에서 높은 수준의 Engineering Quality를 요구합니다.
이러한 업무를 수행합니다:
- 데이터 수집 파이프라인을 통해 수집되는 정형, 비(반)정형 데이터를 관리합니다.
- 다양한 Data 소스로부터 추출된 데이터를 토대로 데이터 파이프라인을 구축하고 최적의 상태로 유지하는 데 기여합니다.
- 데이터의 형태를 도메인에 따라 필요에 맞게 정의하거나 데이터 파이프라인 관련 기존 시스템의 한계 및 단점을 파악하여 적극적으로 개선합니다.
- 원시 데이터 프로세싱을 위해 확장성 및 고가용성을 보장하는 ETL 파이프라인 구축합니다.
- AWS, Apache, Snowflake 등 클라우드 기반의 빅데이터 처리 기술을 사용합니다.
- Application Engineer 및 AI Engineer들과 협력하여 머신러닝 모델을 위한 데이터 파이프라인을 구축합니다.
이러한 역량과 경험이 있는 분들을 찾습니다:
- 컴퓨터 공학 또는 관련 분야의 고등학교 이상, 석사 이하의 학위를 취득하신 분
- 크롤러를 통한 데이터 획득 경험이 있으신 분
- 빅데이터 파이프라인, 아키텍처 및 데이터셋 구축이나 최적화에 경험이 있으신 분
- Data Warehouse나 Data Lake를 구축, 관리한 경험이 있으신 분
- 구조화되지 않은 비정형 데이터에 대한 분석 능력을 보유하신 분
- SQL, Python 언어에 능숙하신 분, 프로그래밍 경험이 능숙하신 분
이러한 강점이 있다면 더욱 좋습니다:
- Script를 통해 크롤러를 빌드, 데이터 획득 자동화에 경험이 있으신 분
- Airflow, DBT 등, 데이터 파이프라인 빌드 및 자동화에 대한 경험이 있으신 분
- Hadoop, Spark, Kafka 등의 빅데이터 관련 툴, 소프트웨어에 대한 경험이 있으신 분
- AWS의 데이터 프로세싱 관련 서비스에 경험이 있으신 분
- Backend Application 개발, Django 등의 ORM 사용 경험이 있으신 분
- Postgres, HBASE, Apache Cassandra, Snowflake 혹은 다른 SQL 및 NoSQL 데이터베이스에 경험이 있으신 분
- 데이터 모델링, 데이터 마이닝 및 데이터 세그멘테이션 기술들에 대해 전문성을 갖추신 분
- SQL 데이터베이스 설계에 실무적인 경험이 있으신 분
- ETL/ELT에 대한 지식을 겸비하신 분
- 영어 커뮤니케이션이 가능하신 분
채용 정보는 아래와 같습니다:
- 채용 형태: 계약직 (수습기간 1~3개월)
- 계약 기간 : 23개월 (수습기간 미포함)
- 근무 시간: 월–금, 09:00–18:00
- 근무 위치: 서울특별시 서초구 방배로 226
- 제출 서류: 이력서 (필수), 경력 기술서/포트폴리오 (선택)
지원 전 확인 부탁드립니다:
- 채용 절차는 지원하는 포지션 및 기타 상황에 따라 다를 수 있으며, 변동 사항이 있는 경우 채용 담당자가 사전에 연락을 드립니다.
- 지원서 기재사항이 사실과 불일치한 경우(증빙서류 미제출 포함) 채용이 취소 될 수 있습니다.
- 기간이 만료된 자격증은 평가에 반영되지 않으며, 지원서 기재사항 증빙이 불가능한 경우 채용이 취소될 수 있습니다.
About TRIDGE:
"최고의 인재들과 최고의 문제를 풀어 최대 다수의 사람들과 그 혜택을 나눌 수 있는 곳.
우리는 높은 이상을 가진 자들과 일하기를 원합니다. Tridge에 모인 사람들은 단순히 “최고의 직장”, “빠르게 성장하는 회사”, “높은 수준의 주인의식”을 추구해서 모인 사람들이 아닙니다. 이러한 것들은 어쩌면 How에 해당하는 것으로 최선의 결과를 내기 위해 당연히 필요한 것들이겠지요. 우리가 진정 추구하는 것은, 세상에 널리 퍼져 있는 문제이지만 사람들이 당연하게 생각하는, “정보 비대칭”, “ 시장 불균형”, “소득의 불균형”, “에이전트 문제” 등을 같이 해결하는 것입니다. 역사적으로 이러한 문제들을 풀기 위한 수많은 시도들이 있었음에도 불구하고 여전히 해결하지 못한 미완의 숙제로 남아 있는 것이 사실입니다. 팀 트릿지는 이러한 사실인식에 기반하여, 가장 지속가능하고, 가장 경제적이면서 합리적인 방법으로 문제를 해결하여, 전세계 많은 사람들이 그 혜택을 공유하기를 바라는 사람들입니다. 해결하고자 하는 문제가 크기 때문에 우리는 최고의 인재를 찾을 수밖에 없으며, 가장 효율적으로 일해야 하며, 각자 맡은 부분에 대해 책임감을 최대한 발휘하기 위해 주인의식이 중요할 수밖에 없습니다. 이러한 방법론은 선택이 아니라 필수입니다.
높은 수준의 교육을 받고, 높은 이상을 가지고 있으며, 좋은 사람들과 끊임없는 논의를 통해 인생의 가치를 찾고자 하는 열망이 있는 분들과 같이 하고 싶습니다. 우리가 나누는 모든 대화와 행동의 결과에서 하루하루의 의미를 재발견하실 수 있습니다.
- 트릿지 커리어 페이지: https://www.tridge.com/career
- 트릿지 블로그: https://blog.tridge.com
* Salary range is an estimate based on our AI, ML, Data Science Salary Index 💰
Tags: Airflow AWS Cassandra dbt Django Engineering ETL Hadoop HBase Kafka NoSQL PostgreSQL Python Snowflake Spark SQL
More jobs like this
Explore more career opportunities
Find even more open roles below ordered by popularity of job title or skills/products/technologies used.