Agent 评测工程师

岗位概述 从产品和用户任务出发，结合 AI 与智能体的技术机制设计评测方法。通过指标设计、实验分析和失败案例研究，判断能力变化，探索现有指标难以覆盖的评测问题，为系统迭代、模型后训练及模型选型提供依据。 工作地点： 北京 岗位职责 设计线上与离线指标，将用户任务、交付质量和使用价值转化为可衡量、可检验的评价标准。 结合智能体规划、工具调用、上下文与反馈机制设计评测任务和实验，对比系统改动前后的表现，定位影响结果的因素。 支持模型后训练评测及第三方模型质量比较，明确评估场景、指标口径和结果的适用范围。 针对现有评测难以反映的能力与用户体验问题，提出新的任务、指标或实验方法，检验其有效性、偏差和可复现性。 分析评测结果和失败案例，区分分数变化与真实能力变化，与产品、工程及模型团队验证改进效果并完善评测方法。 任职要求 具备智能体产品或模型后训练评测实践经历，能够通过具体工作说明指标设计与验证能…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。

本站当前在招 21309 个北京岗位（全城各职能合计），其中 1808 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 7K ~ 20K（25~75 分位），中位约 12K，最低 1K、最高 300K。