岗位描述(节选)
岗位职责
建立大模型训练的性能模型,覆盖计算、显存和通信,研发并行策略的自动搜索与推荐方法。
在模型结构、并行策略和硬件集群之间做协同分析,为新模型研发和集群规划提供量化依据。
用实测数据持续校准性能模型,推动优化方案落地。
任职要求
有大模型训练系统或 HPC 性能优化的实际经验。
深入理解各类并行策略与集合通信,能量化分析训练的性能瓶颈。
有训练性能建模、仿真器开发或并行策略调优的实际经验。
加分项:有 MoE 训练建模经验;有优化或搜索算法背景;在 MLSys、OSDI、SOSP、ASPLOS、SC 等会议发表过论文。