推理架构师

【岗位职责】 1.主导大模型推理系统的整体架构设计 2.设计与优化高并发、低延迟推理服务架构 3.攻克推理性能瓶颈（首Token延迟、吞吐、显存） 4.制定推理优化技术路线，跟进前沿技术（投机解码、FlashDecoding等） 5.保障推理服务的稳定性、高可用与成本可控 【任职要求】 •5+ 年 AI 推理系统相关经验 •深入理解 vLLM、TensorRT-LLM、TGI 等推理框架 •精通 PagedAttention、Continuous Batching 等核心机制 •有大规模推理服务（QPS 1000+）的架构设计经验 •熟悉 Kubernetes、Docker 等容器化技术 •具备 SRE 能力，保障服务可用性 加分项： •vLLM/TGI 核心贡献者 •TensorRT、CUDA 优化深度经验 •高并发推理系统实战经验

本站当前在招 24728 个上海岗位（全城各职能合计），其中 1207 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 8K ~ 20K（25~75 分位），中位约 12K，最低 0.8K、最高 113K。