LLM Evaluation算法研究员

1、面向代码智能体能力构建评测体系，覆盖代码库理解、Issue 修复、跨文件修改、测试生成、调试定位、命令执行、工具调用和多步任务完成等场景。 2、设计 Repo-level 和 Agent-level 评测集，评估模型在真实软件工程任务中的任务完成率、测试通过率、修改质量、鲁棒性和执行效率。 3、分析 Code Agent 在复杂任务中的失败模式，包括错误定位失败、上下文遗漏、工具调用错误、无效修改、测试误判、循环修复等问题。 4、建立从评测结果到训练数据和 Post-training 策略的反馈闭环，通过 Bad Case 分析指导数据构造、奖励设计和训练策略优化。 5、参与内部 Benchmark、模型能力看板和回归评测系统建设，支持 Code Agent 能力持续迭代。 【任职要求】 1、计算机科学、人工智能、机器学习、软件工程或相关领域在读硕士 / 博士。 2、熟悉 LLM 评…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。

本站当前在招 3320 个北京技术研发岗位，其中 85 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 12K ~ 28K（25~75 分位），中位约 20K，最低 2K、最高 60K。