数据技术及产品部-数据采集工程师-websearch方向

参与websearch采集与调度系统建设，构建 URL 发现、网页抓取、智能调度、网页理解和死链检测能力，为索引构建、搜索召回及智能问答提供覆盖广、时效高、稳定可靠的网页数据。探索 LLM、VLM 和 Agent 在网页理解与采集策略优化中的应用，提升系统对长尾站点、动态页面及复杂网站结构的适应能力。 岗位职责： 1.建设大规模分布式网页采集系统，支持静态网页和动态页面抓取，完善限速、重试、故障隔离及监控机制，持续提升采集成功率、吞吐量和稳定性。 2.建设 URL 发现与管理能力，完成链接提取、URL 规范化、去重及抓取价值判断，识别爬虫陷阱，提升有效网页覆盖率。 3.建设智能抓取与数据调度体系，结合页面价值、更新频率和抓取反馈，优化任务优先级、增量抓取及资源分配，兼顾数据时效与采集成本。 4.建设网页理解能力，综合内容、DOM、URL、链接关系及视觉信息识别页面类型、内容入口和交互方式，…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。

本站当前在招 1431 个杭州技术研发岗位，其中 60 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 20K ~ 32K（25~75 分位），中位约 28K，最低 5K、最高 90K。