岗位描述(节选)
岗位职责
负责新模型结构在 SGLang/vLLM 等推理引擎上的标准实现与正确性验证。
从推理效率的角度参与模型结构与硬件的协同设计(Co-design),提供推理侧的性能分析。
与训练团队协同,完成训推精度对齐。
负责推理引擎在多种硬件平台上的适配与优化。
任职要求
深入理解 SGLang 或 vLLM 的核心实现,有引擎内部的开发经验。
有新模型结构接入推理引擎的实际经验。
具备推理性能分析能力,熟悉 prefill 和 decode 阶段的性能特征。
加分项:是主流推理引擎的上游贡献者;有国产卡推理经验;熟悉投机解码、量化等推理优化技术。