岗位描述(节选)
百灵大模型预训练 Infra 团队负责百灵模型训练系统的建设与演进,聚焦大规模预训练场景下的效率、扩展性与稳定性问题。团队长期围绕训练加速、并行架构、系统瓶颈分析,与算法开展协同优化,支撑百灵模型在超大规模集群上的持续迭代。
我们的工作方向包括但不限于:
1. 大模型训练加速:并行策略、低精度计算、算子与显存优化、跨机通信、数据预处理;
2. 超大规模训练效率优化:面向万卡级场景研究 scaling 理论与系统性能上限;
3. 算法 / 系统 co-design:与算法团队协同设计和优化模型架构与训练策略;
4. 深度学习基础设施建设:参与蚂蚁容错系统 DLRover 的研发与演进。
【任职要求】
1. 具有大模型并行策略/大规模分布式系统设计与研发优化经验;
2. 熟悉 CUDA、Cutlass 或主流通信优化原理,具备实际性能分析与调优经验;
3. 熟悉主流深度学习框架及分布式训练……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。
本站当前在招 3032 个上海技术研发岗位,其中 100 个公开标注了薪资。按这些标注统计:月薪(税前)主流区间 12K ~ 23K(25~75 分位),中位约 20K,最低 4K、最高 100K。
在招岗位较多的企业:拼多多 317 个经纬恒润 203 个米哈游 160 个阿里巴巴集团 154 个长鑫科技 96 个
统计口径:求职者营地实时在招岗位的公开薪资标注,未标注者不计入;区间为 25~75 分位,非薪酬承诺。