数据处理架构师

【岗位职责】 1.主导 PB 级训练数据处理平台的架构设计与实现 2.设计高效的数据清洗、过滤、去重 pipeline 3.优化数据处理效率，降低端到端处理延迟 4.建立数据质量保障体系，确保训练数据质量 5.制定数据处理技术规范，指导团队执行 【任职要求】 •5+ 年大数据处理经验 •精通 Spark、Flink、Kafka 等大数据技术栈 •熟悉分布式存储（HDFS、Iceberg、S3） •有 100TB+ 数据处理经验 •理解机器学习训练数据需求 •具备流式处理与批处理混合架构设计能力 加分项： •大模型预训练数据处理经验 •数据质量检测框架开发经验 •Iceberg/Hudi 数据湖经验

本站当前在招 24327 个上海岗位（全城各职能合计），其中 1198 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 8K ~ 20K（25~75 分位），中位约 12K，最低 0.8K、最高 113K。