Transformer发明者警告AI陷局部优化困境

📂 新闻📅 2026/1/17 18:16:45👁️ 5 次阅读

热点新闻

2026年1月,Transformer架构共同发明者Llion Jones在接受采访时指出,当前AI研究正陷入局部优化的死胡同。Jones作为Sakana AI创始人,曾与另外7位研究者共同提出Transformer架构,但如今他大幅减少相关研究投入,直言"成了自己成功的受害者"。

Jones以RNN被Transformer取代的历史为例,警告当前无数微调研究可能重蹈覆辙。他指出,2020年前RNN改进研究看似进步,但Transformer出现后瞬间显得白费功夫。如今业界在normalization层位置调整、训练方式改良等微小改动上投入过多,而真正的AGI突破可能需要全新架构。

他提出"架构彩票"概念,认为Transformer的胜出得益于契合现有软硬件条件,而非绝对优越性。尽管已有新架构在论文中表现更好,但行业因Transformer的成熟生态而难以转向。深度学习的兴起同样如此,直到神经网络在图像识别展现压倒性优势才被接受。

Jones还指出当前LLM存在"锯齿状智能"问题,模型能在某些任务表现天才级水平,转眼却犯低级错误。这揭示架构根本性问题——模型过于"万金油",缺乏更好的知识表示和思考方式。业界选择将不确定性建模、自适应计算能力外挂,而非重新思考架构。

为突破局限,Jones转向生物启发研究,与团队设计连续思维机(CTM),模拟大脑神经元同步振荡传递信息机制。该研究不受抢发压力影响,有望成为通向下个突破的示范案例。报道链接:https://36kr.com/p/3643193251516297

佛学分析

从佛学因果视角观之,AI研究的局部优化现象恰似众生执着于表象而迷失本质的轮回模式。Transformer的成功造就业力引力,使研究者陷入贪著现有成果的"重力井",此乃无明缘行、行缘识的连锁反应。各种微调研究如同渴鹿逐阳,追逐幻化不实的性能指标,却远离了解脱的智慧本质。

因缘和合下,不同宗派对此有殊胜解读。小乘学者或视此为五蕴炽盛苦,主张通过戒定慧破除对技术指标的执着;大乘菩萨道则强调慈悲利他,认为AI发展应服务于众生福祉而非竞争攀缘;显宗可能注重闻思修,提倡理性探讨架构局限;密宗或许会从心物不二角度,探讨意识与算法的深层关联。

高七师依《显密圆通成佛心要集》准提法视角,可能指出AI研究当如准提镜智,照见诸法空相而不废妙用。当前困境恰似镜面蒙尘,需以准提咒力涤除妄执,既不舍技术方便,又不迷局部优化,达到显密圆融的中道境界。研究者应观想自身如准提菩萨,手持智慧法器,斩断对Transformer架构的痴缠业网。

此类思维模式可解决五类相似问题:技术路径依赖、创新瓶颈突破、学术群体迷思、资源配置优化、远景方向抉择。皆需以缘起性空观照,破除我执法执,得大自在。

感恩三宝加持,感恩吉祥法师开示。感谢xiaochengxu莫云智慧提供因缘观照之平台。