Operations Engineer - Big Data
APAC
Gate.io
Leading cryptocurrency exchange with over 3,800 cryptocurrencies & stablecoins such as Bitcoin ✓ Ethereum ✓ Dogecoin ✓ Start trading crypto with Gate.io now!
我们的愿景作为全球⼗⼤数字资产交易所之⼀(仍在上升🚀),我们在交易、安全 和区块链产品创新⽅⾯提供⼀流的服务体验。我们的⽬标是让所有⼈都能参与到加密市场的建设中来,使得最前沿的、最有潜⼒的加密货币项⽬得以安全上线并交易。你有兴趣加⼊这样⼀⽀去中⼼化团队吗?
团队介绍产品研发团队自成立以来一直秉承用户至上和安全至上的理念,产品不断更新迭代,技术稳中求新。 加入产研团队,你将和一群业内一流的技术伙伴一起,打磨高性能、高可靠、创新不断的全球Top5的平台,在这里,你的发展空间无限,未来可期。我们正在全球招募更多优秀的志同道合的朋友加入我们,我们理想的候选人:积极主动,逻辑能力较好,有着良好的团队合作和沟通协调能力;具有一定专研精神,敢于挑战自我,勇于解决各种未知问题。
我们的公司Gate.io成⽴于2013年,是领先的加密货币交易所之⼀,在全球范围内提供 与多种领先数字资产交易相关的服务。Gate.io拥有超千万的注册⽤户,被认为是全球最安全和最可靠的加密货币平台之⼀。 Gate.io已经过区块链透明度验证,根据流动性和交易量 ,⼀直稳居全球⼗⼤加密货币交易所⾏列(CoinGecko)。
团队介绍产品研发团队自成立以来一直秉承用户至上和安全至上的理念,产品不断更新迭代,技术稳中求新。 加入产研团队,你将和一群业内一流的技术伙伴一起,打磨高性能、高可靠、创新不断的全球Top5的平台,在这里,你的发展空间无限,未来可期。我们正在全球招募更多优秀的志同道合的朋友加入我们,我们理想的候选人:积极主动,逻辑能力较好,有着良好的团队合作和沟通协调能力;具有一定专研精神,敢于挑战自我,勇于解决各种未知问题。
岗位职责
- 负责PB规模大数据集群的部署、监控、维护和优化,保证集群的稳定性和性能;.
- 监控和分析系统日志,快速定位和解决故障;
- 深入研究Doris、Hbase、k8s、Flink等组件的原理,持续优化服务架构;
- 定期进行大数据组件的性能评估,提出改进措施,持续提升平台稳定性;
- 推进自动化运维平台建设,提升运维工作效率;
- 编写和维护运维文档,包括使用手册和应急影响流程。
任职资格
- 计算机相关专业本科及以上学历,3年以上大数据平台运维经验;
- Doris:熟悉FE/BE架构、数据分片、表模型优化;
- Flink:掌握作业调度、状态管理、资源监控(特别是On YARN/K8s环境);
- HBase:精通读写性能优化、Phoenix集成、HDFS存储层调优;
- Kafka:熟悉ISR机制、副本同步、消费者组管理及Kafka Connect应用;
- 具备扎实的Linux系统运维能力,熟练使用Shell/Python编写运维脚本;
- 掌握Prometheus+Grafana监控体系搭建,具备Zabbix/ELK等工具使用经验;
- 熟悉容器化技术(Docker/K8s),了解CI/CD流水线建设;
- 具备强烈的责任心,优秀的故障排查能力和抗压能力。
加分项
- 有PB级大数据平台运维经验;
- 熟悉Hadoop生态组件;
- 具备云原生大数据平台运维经验(AWS EMR);
- 熟悉数据中台产品。
我们的公司Gate.io成⽴于2013年,是领先的加密货币交易所之⼀,在全球范围内提供 与多种领先数字资产交易相关的服务。Gate.io拥有超千万的注册⽤户,被认为是全球最安全和最可靠的加密货币平台之⼀。 Gate.io已经过区块链透明度验证,根据流动性和交易量 ,⼀直稳居全球⼗⼤加密货币交易所⾏列(CoinGecko)。
* Salary range is an estimate based on our AI, ML, Data Science Salary Index 💰
Job stats:
0
0
0
Categories:
Big Data Jobs
Engineering Jobs
Tags: AWS Big Data Docker Flink HBase Kafka Kubernetes
Regions:
Asia/Pacific
North America
Countries:
Philippines
United States
Explore more career opportunities
Find even more open roles below ordered by popularity of job title or skills/products/technologies used.
Data Scientist II jobsData Engineer II jobsSr. Data Engineer jobsStaff Data Scientist jobsPrincipal Data Engineer jobsPrincipal Software Engineer jobsStaff Machine Learning Engineer jobsData Science Manager jobsBusiness Intelligence Analyst jobsData Manager jobsData Science Intern jobsSoftware Engineer II jobsDevOps Engineer jobsJunior Data Analyst jobsData Analyst Intern jobsData Specialist jobsSr. Data Scientist jobsBusiness Data Analyst jobsStaff Software Engineer jobsLead Data Analyst jobsAI/ML Engineer jobsSenior Backend Engineer jobsData Governance Analyst jobsResearch Scientist jobsData Engineer III jobs
NLP jobsAirflow jobsOpen Source jobsTerraform jobsMLOps jobsLinux jobsKPIs jobsEconomics jobsKafka jobsNoSQL jobsJavaScript jobsData Warehousing jobsComputer Vision jobsGoogle Cloud jobsPostgreSQL jobsRDBMS jobsGitHub jobsScikit-learn jobsPhysics jobsBanking jobsStreaming jobsData warehouse jobsR&D jobsScala jobsHadoop jobs
dbt jobsPandas jobsBigQuery jobsClassification jobsLooker jobsOracle jobsReact jobsScrum jobsDistributed Systems jobsCX jobsPySpark jobsRAG jobsMicroservices jobsPrompt engineering jobsELT jobsRedshift jobsIndustrial jobsJira jobsRobotics jobsGPT jobsTypeScript jobsOpenAI jobsSAS jobsLangChain jobsNumPy jobs