数据抓取工程师

岗位职责 1、负责数据抓取体系的整体落地，构建覆盖多模态数据的端到端数据链路； 2、制定平台级反爬战略与稳定性策略，形成标准化方案与应急预案，确保在复杂限制环境下持续、稳态输出； 3、设计分布式抓取与任务编排框架，提升并发、可扩展与容错能力，支持增量更新、断点续抓与变更感知； 4、打造统一数据处理能力，同时覆盖实时与批量加工，建立数据标准与口径，保证多源数据的一致性与可复用； 5、协同数据团队完成数据交付，驱动下游分析与应用。 任职要求 1、 5年以上工作经验，1年以上爬虫开发经验，主导过至少1个中大型爬虫项目落地； 2、精通Python及Scrapy框架，熟悉Java 或C++，对计算机底层原理有较深入了解； 3、具备分布式爬虫开发经验，熟悉任务调度与性能优化策略； 4、熟悉Spark进行大规模数据清洗，了解Ray/Dask等分布式计算框架； 5、对金融数据有经验基础或者感兴趣优先；

本站当前在招 21045 个北京岗位（全城各职能合计），其中 1782 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 7K ~ 20K（25~75 分位），中位约 12K，最低 1K、最高 300K。