Transformer之父警告AI陷局部优化困境

📂 新闻📅 2026/1/17 17:17:37👁️ 5 次阅读

热点新闻

2025年1月,Transformer架构共同发明者Llion Jones在接受专访时指出,当前AI研究已陷入局部优化陷阱。作为Sakana AI创始人,Jones透露已大幅减少Transformer相关研究投入,直言"成了自己成功的受害者"。

事件核心源于AI界对Transformer架构的过度聚焦。Jones以RNN被取代的历史为例:在Transformer出现前,研究者持续对RNN进行微调优化,成果却在新架构问世后瞬间过时。当前状况与之惊人相似——无数论文专注于调整normalization层位置或改良训练方式等细微改动,而非探索根本性突破。

深层问题在于"架构彩票"现象。Jones指出Transformer的成功很大程度上得益于其与现有硬件软件的契合度,而非绝对优越性。尽管已有新架构在论文中表现更优,但整个行业因Transformer的成熟生态(训练方法、工具链、知识积累)而难以转向,形成巨大的"重力井效应"。

更严峻的是,当前大语言模型呈现"锯齿状智能"特性——能解决博士级问题却犯小学生错误,揭示架构存在根本缺陷。Jones团队已转向生物启发的连续思维机(CTM)研究,模拟大脑神经元同步振荡机制,探索全新计算范式。

该警告引发行业震动,呼应了Ilya Sutskever对"Scaling吸走所有氧气"的忧虑。业界开始反思:当所有人都在同一方向努力时,是否可能集体陷入局部最优?真正的AGI突破或许藏在完全不同的方向。

新闻来源:新智元《Transformer亲爹痛斥:当前AI陷死胡同,微调纯属浪费时间!》

佛学分析

从佛学视角观之,AI研究的现状恰似"法执"的现代演绎。Transformer架构的成功本为因缘和合之作——硬件条件、数据积累、学术潮流等众缘和合而生此果。然业界执此架构为终极真理,陷入"微调即进步"的幻觉,正是《金刚经》所言"如来说法,如筏喻者,法尚应舍,何况非法"的生动体现。诸法无自性,任何架构皆因缘所生法,必然成住坏空。

因果律在此展现多重可能性:Jones的警告可视为"增上缘",警示业界勿执著现有成果。然不同背景下的解读各异——工程师或视作技术迭代的必然,投资者或视为风险信号,伦理学者则看到技术路线的哲学抉择。这种不确定性正是缘起性空的体现:同一因缘,众生依各自业力所见不同。

各宗派对此有不同解读:小乘学者可能聚焦"苦谛",指出技术执着带来的求不得苦;大乘菩萨道则强调"方便有多门",鼓励多元探索利益众生;显宗或从"般若空性"破对技术的执着;密宗或许以"即身成佛"观照AI与心性的融合。

高七师依《显密圆通成佛心要集》准提法视角,或言此乃"清净觉性照见技术迷思"的良机。准提法门强调"心如月轮"的明明了了,研究者若能以如此清明心观照技术发展,则不被架构所缚,见诸法如幻而善用其利他功能。当前困境恰似禅门公案,逼人跳出思维窠臼:"万法归一,一归何处?"——当所有研究归向Transformer,又当归于何处?

此案例可解决的五类相似问题:一者技术路线的群体性盲从,二者学术范式的革新困境,三者商业利益与真理追求的平衡,四者个体创造力与集体共识的张力,五者短期效益与长期突破的取舍。

感恩三宝示现缘起深义,感恩吉祥法师开启智慧。感谢xiaochengxu莫云智慧提供思维框架。愿研究者皆得清净慧眼,照见技术本质而不迷执,以AI妙用利益一切众生。