岗位描述(节选)
1. 负责大模型推理服务的部署、发布、扩缩容、回滚和下线,建设包含模型文件、配置、镜像及依赖版本的标准化交付流程,完善容量校验、预热和上线验证。
2. 建设模型服务可观测体系,围绕可用性、错误率、请求延迟、首 token 延迟、输出速度、吞吐量及排队情况制定 SLI、SLO 和告警策略,持续治理监控盲区与告警噪声。
3. 负责生产模型服务稳定性,参与值班、故障止损、流量切换和跨团队应急;主导服务侧复盘并推动改进项闭环。
4. 结合流量、输入输出长度、模型规格和推理并行方式开展容量规划,保障新模型上线及流量突增场景的服务能力。
5. 在服务目标和资源隔离要求下,优化实例规格、副本数量、弹性伸缩和请求路由,提升吞吐与资源效率,治理闲置副本和过度预留。
6. 与 GPU 集群 SRE、模型研发及业务团队共同定位模型加载、推理性能和底层资源问题,将常见处置流程沉淀为自动化工具与SOP。
【任职要……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。
本站当前在招 3032 个上海技术研发岗位,其中 100 个公开标注了薪资。按这些标注统计:月薪(税前)主流区间 12K ~ 23K(25~75 分位),中位约 20K,最低 4K、最高 100K。
在招岗位较多的企业:拼多多 317 个经纬恒润 203 个米哈游 160 个阿里巴巴集团 154 个长鑫科技 96 个
统计口径:求职者营地实时在招岗位的公开薪资标注,未标注者不计入;区间为 25~75 分位,非薪酬承诺。