大模型推理工程师

【岗位职责】 推理服务部署与优化：负责大语言模型、多模态模型在生产环境中的推理部署与性能优化，基于 vLLM、SGLang、TensorRT-LLM 等主流推理框架，建设并优化推理服务能力； 推理链路性能调优：负责模型推理全链路优化，包括推理加速、批处理调度、KV Cache 优化等，持续提升吞吐、降低延迟、减少 GPU 资源成本；系统性降低硬件延迟瓶颈，保障高并发下线上服务稳定性； 系统架构与稳定性保障：搭建和优化大模型推理服务架构，实现模型热加载、动态扩缩容、流量隔离、负载均衡等能力，保障线上高并发、高可用、低抖动；负责线上推理问题排查、性能瓶颈分析、稳定性治理； 性能评测与指标体系：建设大模型推理性能评测体系，设计 TTFT、TPOT、吞吐/Goodput、并发、错误率等核心指标；持续优化算力利用率与服务 SLA； 成本核算与资源优化：理解多GPU、多节点、NVLink/NVSwit…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。

本站当前在招 24329 个上海岗位（全城各职能合计），其中 1198 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 8K ~ 20K（25~75 分位），中位约 12K，最低 0.8K、最高 113K。