AI评测主任工程师-AI Evaluation Staff Engineer(J21420)

1. 评测体系构建与管理：主导大语言模型、智能Agent的全维度评测体系搭建，对齐半导体业务场景需求，设计、标注并动态迭代多场景评测数据集，覆盖知识问答、逻辑推理、工具调用、行业知识检索等核心能力维度，可量化评估模型与Agent的能力优劣、业务适配性； 2. RAG评测基准搭建与专项评估：面向半导体领域检索增强生成（RAG）场景，搭建行业化RAG评测基准，设计检索准确率、召回精度、答案相关性、幻觉率、事实一致性等核心评估指标，完成模型版本效果回归、缺陷定位根因分析； 3. 自动化评测流水线搭建与报告输出：设计并维护自动化评测流水线，可独立编写Python评测脚本，执行模型迭代版本的全量回归测试，定期输出结构化评测报告，精准识别模型幻觉、逻辑错误、知识偏差等问题，推动问题闭环； 4. 技术迭代与跨团队协同：跟踪业界主流Benchmark（如MMLU、GSM8K、AgentBench、RAGB…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。

本站当前在招 1264 个合肥技术研发岗位，其中 61 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 12K ~ 22K（25~75 分位），中位约 20K，最低 6K、最高 100K。