谷歌Transformer模型论文合著作者离职创业 准备给AI产业探一条新路

财联社

作为本轮AI热潮的起点，谷歌在2017年发表了题为《Attention is all you need》的经典论文，对Transformer模型做出了具有历史意义的重大改进。而根据最新的消息，这篇论文的合著作者Welshman Llion Jones已经离开谷歌，标志着当年写这篇论文的团队已经全部离开美国科技巨头。

（Llion Jones在论文署名中排第5，来源：arvix）

谷歌的论文也为五年后席卷全球的科技热潮奠定了基础，包括ChatGPT、文心一言、Bard、讯飞星火、Stability AI、Midjourney、Dall-E等几乎所有市面上的知名产品背后都是Transformer架构。

选在这个时候在AI领域自立门户，与挥金如土的各大巨头展开竞争，是因为Jones对AI领域产生了一些不同的想法。

Jones与前谷歌AI日本地区的负责人、曾领导Stability AI开发的David Ha一拍即合，周四宣布在日本东京创办了一个名为Sakana AI的新公司，追求将“大自然系统的集体智慧”引入AI领域。Sakana在日语中是“鱼”的意思，代表着“一群鱼聚在一起，根据简单的规则行程连贯实体”的愿景。

（两人官宣创业，来源：X）

在Transformer架构的创新问世后，业界的发展重心一度聚焦在将各种“GPT”越做越大，而Sakana AI将聚焦在创造一个新的架构。

他们认为，当前人工智能模型的局限性在于它们被设计为脆弱的、难以改变的结构，就像桥梁或建筑物那样。相比之下，在集体智慧的作用下，自然系统对周遭发生的变化非常敏感。自然系统会适应并成为周遭环境的一部分。Sakana AI希望使用这些进化计算的原理构建人工智能，来解决AI系统成本和安全性等问题。

David Ha对此概括称，相较于建造一个吸收所有数据的庞大模型，Sakana AI的做法可能是使用数量巨大的小模型，每一个模型所包含的数据集都不大但有独特的专长，然后让这些模型进行协作来解决问题。

至于为什么要跑到东京去创业，两位创始人表示，除了在东京呆过很多年外，他们也认为训练在非西方社会和文化中也能表现良好的模型，能够成为下一次技术突破的催化剂。