AI数据治理工程师

岗位职责： 1. 负责大模型预训练及后训练数据处理体系的设计与建设，覆盖数据解析、清洗、去重、质量过滤及评估等关键环节，打造支持 TB 级及以上数据规模的高性能处理 Pipeline； 2. 负责多源异构数据的解析与结构化处理，重点解决 PDF、网页、表格等复杂数据格式的内容抽取、版面识别及数据标准化问题，提升训练数据的准确性、完整性与可用性； 3. 持续优化数据处理链路的性能与稳定性，结合分布式计算、存储优化及任务调度等技术，提升海量数据处理效率，保障数据生产流程的可扩展性与可靠性； 4. 建立和完善数据质量评估与治理机制，探索数据去重、质量筛选及自动化处理等技术方案，持续提升高质量训练数据的生产效率与工程化水平。 岗位要求： 1. 本科及以上学历，计算机、软件工程或相关专业背景，具备扎实的编程基础、算法能力及系统设计能力，精通 Python，并熟练使用 C++、Rust、Go 中至少一…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。