岗位描述(节选)
岗位职责
负责百B级及以上⼤模型训练框架、训练系统和算⼦性能优化,保障⼤规模训练的稳定性、
效率和可扩展性。
具体包括:
1. 负责⼤模型训练框架优化,包括 Megatron、DeepSpeed、FSDP、ZeRO、
TP/PP/DP/EP 等并⾏策略优化;
2. 负责多机多卡训练性能优化,包括通信优化、显存优化、checkpoint 优化、数据加载优
化、训练稳定性优化;
3. 负责⼤模型训练中的性能瓶颈分析,包括 MFU、吞吐、显存占⽤、通信开销、算⼦效率
等;
4. 参与百B级及以上模型训练任务的系统设计、故障定位、性能调优和稳定性保障;
5. 结合具体模型结构,优化 attention、MoE、⻓上下⽂、多模态训练等核⼼模块的训练效
率;
6. 推动训练框架⼯程化建设,包括任务调度、监控告警、⽇志分析、容错恢复、集群资源利
⽤率提升等。
岗位要求
1. 具备 100B 以上⼤模型训……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。