大模型预训练数据工程师

1）设计并实施大规模语料采集与处理系统，覆盖网页、书籍、代码、对话等多源异构数据； 2）制定数据清洗与去重等各类数据处理策略，提升语料多样性与质量； 3）开发数据质量评估与筛选体系，综合运用多维度方法对语料进行自动化打分与分级淘汰。包括困惑度过滤、质量分类器、内容安全过滤、数据配比与采样等； 4）主导合成数据的设计与生产，覆盖预训练增强与后训练两大场景，提升稀缺领域与长尾能力的数据覆盖，丰富推理、代码相关语料； 5）通过数据消融实验验证数据效果及数据配比策略，推动模型效果提升； 6）分析 MMLU / CMMLU / Humaneval 等开闭源训练指标，指导数据优化方向； 7）维护数据版本管理与数据血缘追踪系统，确保训练数据的可复现性。 【任职要求】 1）扎实的编程能力（Python必须，Java / Golang / Javascript 至少一种），良好的数据结构和算法基础； 2）…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。

本站当前在招 3080 个上海技术研发岗位，其中 103 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 12K ~ 22K（25~75 分位），中位约 20K，最低 4K、最高 100K。