岗位描述(节选)
1. 评测体系建设:面向大模型、智能体及多智能体协作场景,设计客观、可量化的评测方案,建立覆盖任务完成质量、推理规划、工具调用、稳定性、执行效率与成本等维度的评价标准;
2. 评测数据与基准建设:结合真实业务需求,构建具有代表性和区分度的评测任务、数据集及运行环境;制定标注规范和评分标准,持续积累典型问题、复杂任务与边界案例,完善评测覆盖;
3. 自动化评测方法研发:结合规则校验、可执行验证、模型评分与人工评价,研发适用于不同任务的评测方法;探索大模型作为评判器(LLM-as-a-Judge)的应用,校准评价偏差,提升评测准确性、一致性和效率;
4. 效果分析与优化反馈:深入分析评测结果和智能体执行过程,定位模型能力、任务规划、工具使用及协作环节中的问题,形成清晰的评测报告与改进建议,并与算法、产品及工程团队协作验证优化效果;
5. 评测工具与流程建设:参与评测平台和自动化流程建设,支持批……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。
本站当前在招 8587 个杭州岗位(全城各职能合计),其中 507 个公开标注了薪资。按这些标注统计:月薪(税前)主流区间 9K ~ 22K(25~75 分位),中位约 14K,最低 1K、最高 250K。
在招岗位较多的企业:阿里巴巴集团 2232 个吉利控股 559 个蚂蚁集团 512 个云尖信息 249 个乾元国家实验室 228 个
统计口径:求职者营地实时在招岗位的公开薪资标注,未标注者不计入;区间为 25~75 分位,非薪酬承诺。