推理服务研发工程师

【工作职责】 1. 负责海量大模型异构资源的调度编排、算力池化、弹性资源混布、潮汐资源拆借和Quota管理； 2. 负责模型在线服务系统的设计与开发，构建高并发、低延迟、高可用的推理服务，支撑线上实时推理； 3. 设计并落地推理服务的核心架构，涵盖流量调度、负载均衡、弹性扩缩容等，保障大规模GPU集群的服务稳定性； 4. 针对端到端推理链路进行系统级优化，提升GPU利用率与服务吞吐量。 【任职要求】 1. 计算机、人工智能、软件工程等相关专业； 2. 有扎实的后端开发基础，熟练掌握Python、C++、Go、Rust任意开发语言，具备扎实的系统设计与编码能力； 3. 熟悉分布式系统核心概念:负载均衡、服务发现、消息队列、分布式缓存等，能独立设计和落地高可用服务； 4. 熟悉Profiling工具，具备系统级瓶颈定位和优化经验； 5. 有良好的工作文档习惯，及时按照要求撰写更新工作流程及技…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。

本站当前在招 1429 个杭州技术研发岗位，其中 60 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 20K ~ 32K（25~75 分位），中位约 28K，最低 5K、最高 90K。