OceanBase-LLM推理优化专家-OceanBase

1. 推理引擎研发与优化：吸收 vLLM、SGLang 等开源框架的优秀实践，结合工程创新，优化模型执行、动态批处理、KV Cache 管理与模型加载，提升推理吞吐，降低首字延迟和单 Token 成本。 2. 分布式推理与调度：面向大规模在线服务与批量推理，优化模型并行、通信与计算重叠、负载均衡和资源调度，在满足服务延迟要求的同时提升单卡吞吐和集群利用率。 3. 推理平台核心研发：建设模型部署、弹性伸缩、任务排队与失败恢复能力，打通推理引擎、资源调度与服务管理链路，支持不同模型和硬件环境下的高效、稳定运行。 4. 异构计算与国产化优化：面向 PC、一体机和 GPU 集群，探索 CPU/GPU 混合计算、显存与内存协同及国产 GPU/NPU 适配，让大模型以更低资源成本运行。 5. 性能分析与工程验证：建设推理性能评测与可观测能力，从算子、引擎到服务和集群定位瓶颈，通过真实负载验证优化效果，…… 完整岗位描述与官方投递入口,请登录后在岗位详情页查看。

本站当前在招 21045 个北京岗位（全城各职能合计），其中 1782 个公开标注了薪资。按这些标注统计：月薪（税前）主流区间 7K ~ 20K（25~75 分位），中位约 12K，最低 1K、最高 300K。