岗位描述(节选)
岗位职责
负责大模型训练核心算子的开发与优化,包括 Attention、MoE、融合算子、低精度算子等,覆盖前向和反向。
与系统优化方向协同,完成算子融合、重计算与显存的联合优化,以及通信与计算融合。
与精度方向协同,保证算子的数值正确性。
任职要求
精通 CUDA 或同类加速器编程,熟悉 Triton、CUTLASS 等工具链。
有大模型核心算子的优化落地经验,具备扎实的性能分析能力。
理解训练场景下反向计算、激活显存与数值精度的要求。有推理算子背景、希望转向训练的候选人同样欢迎。
加分项:熟悉 Hopper/Blackwell 架构新特性;为主流高性能算子开源项目做过贡献。