岗位描述(节选)
【岗位职责】
1. 负责端侧/云侧多模态大模型(LLM/VLM/原生音频模型)推理框架的深度定制、算子融合与底层调优,极致优化TTFT与端到端交互时延;
2. 设计并实现音视频流、控制流、文本流多路并行的原生流式交互系统架构,构建高效的多模态数据对齐与动态分发管道;
3. 设计端侧轻量模型与云端/主控大模型的协同底座,确保机器人动作流与交互流的精确同步;
4. 负责交互模型在端侧算力平台(如异构NPU、边缘侧算力芯片)以及云端GPU集群的部署、剪枝、高性能量化(如AWQ/GPTQ/FP4等)与多卡/多芯并行优化。
【任职要求】
1. 具备主流大模型推理框架加速引擎(如 vLLM, TensorRT-LLM, SGLang, DeepSpeed-FastGen 等)在主流硬件平台(如英伟达Orin)的优化经验,有实际的算子级优化、KV Cache 极限管理或内存带宽优化经验者优先。
2. ……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。
本站当前在招 24807 个上海岗位(全城各职能合计),其中 1207 个公开标注了薪资。按这些标注统计:月薪(税前)主流区间 8K ~ 20K(25~75 分位),中位约 12K,最低 0.8K、最高 113K。
在招岗位较多的企业:字节跳动 958 个米哈游 691 个拼多多 497 个哔哩哔哩股份有限公司 452 个阿里巴巴集团 442 个
统计口径:求职者营地实时在招岗位的公开薪资标注,未标注者不计入;区间为 25~75 分位,非薪酬承诺。