大模型 / 多模态模型架构研究工程师

【岗位职责】 岗位职责 -研究和优化 Attention、MoE、Expert Routing、模型层数、宽度、连接结构等。 -设计和实现 checkpoint 权重迁移、Model Surgery、Expert Pruning/Merging、Layer Mapping 等方案。 -通过 Continued Pretraining、Knowledge Distillation 等方式，使新架构快速继承原模型能力。 -修改和调试 Transformers、Megatron、DeepSpeed/FSDP 等大模型训练代码。 -评估新架构在模型效果、训练成本、推理速度、显存占用等方面的收益。 【任职要求】 技能要求 -熟练掌握 PyTorch，能够独立修改大模型网络结构和 forward 逻辑。 -深入理解 Transformer、Attention、MoE、GQA/MLA、RoPE、RMS…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。

本站当前在招 3144 个北京技术研发岗位，其中 86 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 12K ~ 28K（25~75 分位），中位约 20K，最低 2K、最高 60K。