端侧大模型推理工程师

【岗位职责】 负责在异构端侧上落地大模型与多模态推理系统，深入底层系统、GPU/NPU/CPU 异构计算，优化模型推理性能，解决实际使用过程中的长尾问题，确保模型推理在端侧高效、稳定运行。 工作内容包括： 1、端侧语言模型 / 多模态模型推理部署； 2、异构硬件性能调优与内存管理； 3、推理框架、工具链、跨平台构建系统开发与优化； 4、模型量化、KV Cache 管理与端侧推理优化； 5、跟进前沿模型架构（如 Transformer 及其衍生变体、投机解码加速技术 EAGLE 系列等）的迭代演进。 【任职要求】 1、了解主流模型架构，包括 Transformer 系列、LLaMA、Qwen等，能分析其计算与内存特点； 2、熟悉至少一种端侧推理框架（llama.cpp / TensorRT / QNN / ONNX Runtime）； 3、了解投机采样（Speculative Decodi…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。

本站当前在招 21791 个北京岗位（全城各职能合计），其中 1808 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 7K ~ 20K（25~75 分位），中位约 12K，最低 1K、最高 300K。