岗位描述(节选)
推理已经成为一个网络问题。在分离式服务中,prefill 在一组 GPU 上运行,decode 在另一组上运行,KV cache 在两者之间流式传输,性能取决于你能多快地在 GPU 之间、跨节点以及在存储进出之间移动张量。性能只是其中一半。这些部署是弹性的,因此数据路径需要动态 API,让 worker 可以加入和离开、连接可以建立和拆除、传输可以在运行时重新路由而不阻塞流水线。NIXL,NVIDIA 的开源 Inference Xfer Library,就是解决这个问题的层,它位于 NVIDIA Dynamo 和越来越多的推理引擎之下。
中国正在建设世界上一些要求最苛刻的推理部署。我们正在招聘一位资深架构师,直接与构建这些部署的平台团队合作,理解大规模下会出现什么问题,并将其转化为上游代码和路线图。你将每天与以色列和美国的 NIXL 和 Dynamo 核心工程师合作。
你将要做的事情:
……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。
本站当前在招 24327 个上海岗位(全城各职能合计),其中 1198 个公开标注了薪资。按这些标注统计:月薪(税前)主流区间 8K ~ 20K(25~75 分位),中位约 12K,最低 0.8K、最高 113K。
在招岗位较多的企业:字节跳动 992 个米哈游 663 个拼多多 479 个哔哩哔哩股份有限公司 445 个阿里巴巴集团 431 个
统计口径:求职者营地实时在招岗位的公开薪资标注,未标注者不计入;区间为 25~75 分位,非薪酬承诺。