大模型MaaS推理资源调度系统工程师/专家

我们正在建设面向万亿级 Token/日、万卡级异构 GPU 集群的 MaaS 调度系统，目标打造行业领先的大模型推理调度能力。你将负责核心调度系统建设，支撑多类大模型推理负载，通过在线离线混部、弹性调度和异构算力调度，在保障 SLA 的同时提升算力利用率、降低单位 Token 成本，让超大规模 MaaS 推理服务更稳、更快、更省。 工作职责 1、万亿级 Token/日吞吐优化：围绕 QPS、RPM/TPM、并发、Token 吞吐、TTFT、TPOT延迟等指标，优化推理服务整体吞吐和资源效率。 2、在线推理与离线批推混部：在保障在线推理 SLA 的前提下，将批量推理、模型评测、数据生成、异步任务、低优先级推理等离线/准离线负载调度到闲置 GPU 资源中运行，提升集群整体利用率。 3、弹性调度与成本优化：建设基于流量预测、队列状态、GPU 利用率/SMA、显存、KV Cache、模型热度等指…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。

本站当前在招 21309 个北京岗位（全城各职能合计），其中 1808 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 7K ~ 20K（25~75 分位），中位约 12K，最低 1K、最高 300K。