推理服务研发工程师（后端/开源引擎方向）

1. 开源推理引擎二次开发与优化：深入研究主流开源推理引擎（vLLM、SGLang、TensorRT-LLM、Dynamo等），根据业务需求进行源码级二次开发、功能拓展、性能优化，修复引擎内核问题，适配公司自研模型与业务场景。 2. 推理服务后端架构研发：负责AI推理服务的后端架构设计与开发，实现模型加载、请求调度、批处理推理、动态路由、流量管控、超时重试等核心能力，搭建标准化、可复用的推理服务底座。 3. 推理性能专项优化：针对大模型推理的吞吐、延时、显存占用、推理速度等核心指标分析推理链路瓶颈（Gateway/Scheduler/Runtime/GPU）进行专项优化，结合业务场景优化KV缓存、动态批处理、模型量化、推理并行策略，提升单机及集群推理并发能力，降低推理部署成本。 4. 云原生推理服务化落地：将优化后的推理引擎封装为标准化云原生服务，对接K8s集群，实现推理服务的容器化部署、…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。

本站当前在招 24329 个上海岗位（全城各职能合计），其中 1198 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 8K ~ 20K（25~75 分位），中位约 12K，最低 0.8K、最高 113K。