大模型算法高级工程师-推理框架

1. 基于llama.cpp等开源框架进行源码级二次开发，构建自研推理引擎，完成与DNPU Runtime的工程化深度集成（进程内嵌入、内存共享、调度同步等）。 2. 设计并实现多卡/多节点分布式推理方案，包括模型切分部署、多实例数据并行调度、请求级负载均衡及KV Cache跨节点管理。 3. 负责模型量化算法研究，自研高精度量化方案（PTQ策略改进、混合精度量化、通道级量化等），完成safetensor到量化ONNX的导出流程，建立精度评测体系。 4. 跟踪业界SOTA推理优化技术（投机采样、PagedAttention、Chunked Prefill、FlashAttention、动态批处理等），编写技术调研报告与原型验证代码。 5. 跟踪LLM/VLM/VLA等前沿模型结构演进，分析新算子需求并协同异构计算团队完成后端落地。 6. 搭建端到端推理性能基准测试体系，监控时延、吞吐、内存…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。

本站当前在招 3598 个合肥岗位（全城各职能合计），其中 782 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 7K ~ 16K（25~75 分位），中位约 11K，最低 2K、最高 100K。