岗位描述(节选)
关于此机会
我们正在构建一套严谨、可验证的 Terminal-Bench 任务评估套件,旨在测试大型语言模型在多语言软件挑战中的极限。我们的目标是衡量多语言鲁棒性,涵盖提示语言效应、非英语数据处理以及终端工作流中复杂的区域设置/编码边缘情况。
我们正在寻找经验丰富的母语软件工程师来设计、构建和验证这些基准。你将创建高信号、高质量的任务,真正测试模型处理多语言环境的能力,而不依赖英语翻译的拐杖。
请注意,这是一个远程、自由职业的机会
你将交付什么
- 任务工程:评估编码代理。
- 资产创建:使用你母语的数据集和文件构建真实的任务环境。至关重要的是,这些资产必须保持目标语言,以真正衡量多语言处理能力。
- 提示与翻译:在你的母语中寻找 AI 无法工作的失败点
- 实现与验证:支持开发稳健的解决方案(参考实现),并编写高度可靠、确定性的验证脚本(仅在严格必要时使用基于评分标准的评判)。
- 校准……
完整岗位描述与官方投递入口,请登录后在岗位详情页查看。