大模型评测算法工程师

【岗位职责】 搭建大语言模型系统化评测体系，覆盖推理、长文本、代码、事实性、幻觉、安全、Agent 工具调用等能力维度； 构建专项 Benchmark 与评测数据集，开发自动化评测流水线，落地 LLM-as-judge、可执行评测等方案； 执行模型版本对比实验，分析评测结果、定位模型缺陷，输出评测报告，推动 SFT/RLHF 模型迭代； 开展红队对抗测试，挖掘模型边界风险；跟进前沿评测技术，持续优化评测方法论。 【任职要求】 硕士及以上，人工智能 / NLP 相关专业，扎实深度学习与大模型理论基础； Python 开发能力，拥有 LLM 真实评测项目经验，熟悉主流评测框架； 熟悉人工评测流程、指标体系，具备数据分析与问题归因能力； 加分：Agent 评测、代码模型评测、红队安全评测、开源评测工具实践。