AI开始自己找自己底层公式里的Bug了,这对算法岗求职者不是坏消息,而是一次明确的技能定价重估:会调库的人继续贬值,能验证数值正确性的人开始升值。
Google DeepMind的研究者在PyTorch、JAX以及教科书的Softmax与交叉熵实现中发现了两个隐蔽问题。标准做法是先减去最大得分防止溢出,但这一减会让分母变成「1加一个极小数字」的结构。模型越自信,这个数字越小,小到在bfloat16或fp32下被直接舍入成1.0,正确的梯度瞬间归零。论文称之为Softmax崩溃,优化器随后会把这种零梯度放大成训练曲线的剧烈震荡。
更值得求职者注意的是修复过程:这个Bug最初由Gemini发现并修复,论文实验与图表初稿也由模型完成,人类研究者负责苛刻挑刺与复核。独立工程师随后在CPU上复现并证实了机制。
值得,但投的方向要变。过去几年算法岗的简历关键词是「熟悉PyTorch」「调过LLM」,这类描述正在快速同质化。这次事件暴露的恰恰是另一类能力:知道框架里每一行标准实现为什么这么写,知道浮点运算在什么条件下会背叛数学等价。
面试里越来越可能出现这样的问题:为什么交叉熵要先减最大值?减完之后分母长什么样?bfloat16和fp32的精度悬崖差多少?能答出机制的人,和只会背API的人,薪资谈判的底气完全不同。
第一,把「会用一个框架」升级为「读过一个框架的源码」。不必通读,挑Softmax、交叉熵、优化器更新这几处,逐行看懂。
第二,补上浮点数常识。bfloat16、fp32的表示范围与舍入行为,是比背八股更硬的底层知识。
第三,练交叉验证的习惯。这次Bug能被确认,靠的是打印中间值、换精度复现、比对结果,这套动作在面试项目复盘里非常加分。
第四,别把「AI能自己修Bug」理解成岗位消失。它消灭的是重复劳动,放大的是判断力。能判断模型给的修复方案对不对的人,才是团队真正缺的。
技术热点会不断刷新,但求职的底层逻辑没变:你的能力要落在别人短期补不上的地方。数值正确性、复现能力、对标准实现的怀疑精神,这三样在可见的几年里都不会过时。想看同类岗位的实时变化,可在求职者营地(qzzyd.com)按城市和方向订阅在招职位,把趋势变成具体的投递清单。
数字不会凭空消失,能力也不会。它们只是去了你没注意到的地方,等你去把它找回来。