前谷歌 AI 研究员：ChatGPT 原本可以更早出现的

2017 年，谷歌的八位机器学习研究人员共同发表了一篇颠覆性的研究论文，名为《注意力就是你所需要的一切》（Attention Is All You Need）。这篇论文引入了Transformer AI架构，如今已成为主流生成式人工智能模型的核心基础。

Transformer架构通过神经网络将输入数据块转换为所需的输出形式，成为现代人工智能繁荣发展的关键要素之一。Transformer架构的多种变体被应用于各种模型，如GPT-4（包括ChatGPT）等语言模型、谷歌NotebookLM和OpenAI高级语音模式的音频生成模型，Sora等视频生成模型，以及Midjourney等图像生成模型。

在今年10月的TED AI大会上，称为“谷歌八子”之一的雅各布・乌斯克尔特（Jakob Uszkoreit）接受了媒体的采访。在访谈中，他分享了Transformer的发展历程、谷歌在大语言模型领域的早期探索，以及他目前在生物计算领域的新冒险。

乌斯克尔特透露，尽管他们对Transformer技术寄予厚望，但并未完全预见到它在ChatGPT等产品中发挥如此关键性的作用。

以下是专访全文：

问：你对《注意力就是你所需要的一切》这篇论文的主要贡献是什么？

乌斯克尔特：在论文中，我提出了一种观点，即可利用注意机制，尤其是自我注意，来替代当时主流的递归机制。这种替代方案提升了效率，更具成效。

问：你们团队发表那篇论文后是否意识到将会发生什么？是否预见到它带来的影响？

乌斯克尔特：我们团队的工作是前人研究的延续，论文的影响需要与其他研究相互结合才能体现。我们对技术的发展寄予厚望，但并未完全预见到ChatGPT等产品的成功。

虽然看到这些技术的潜力，但我们没有立即将其转化为市场产品，可能是因为对开发大规模产品持保守态度。但我们对技术充满信心。

问：谷歌在研发大语言模型方面的工作，当ChatGPT取得成功时，你们团队是怎样的感受？

乌斯克尔特：我们对可能发生的情况有一定预感，而不是遗憾。我们认为这是一个可以实现得更早的阶段。他们迅速接受并应用新技术的速度令人惊讶。

问：你已经离开谷歌，对吗？

乌斯克尔特：是的，离开谷歌是因为我认为创办Inceptive公司能更好实现我的愿景，而不是谷歌不适合创新。我希望通过生物软件对医药领域进行改革。

我的动机不只是商业机会，而是道德责任感，致力于创造对人类有益的药物，直接影响人们的生活。

问：对于熟悉技术的人来说，ChatGPT并不是巨大惊喜，你怎么看？

乌斯克尔特：确实，对技术的发展过程有所了解，我们能做出合理推断。但对ChatGPT的成功仍然令人惊讶。

问：你认为ChatGPT是否突破性？

乌斯克尔特：突破性可以有不同形式。技术水平上不是突破，但功能上的高实用性也具有突破性。

用户的创造方式常出人意料。保持实验态度和接受失败至关重要。尝试可能失败，但在某些情况下会取得成功，就像ChatGPT。

需要承担风险。谷歌曾对承担风险持保守态度吗？

乌斯克尔特：此前确实如此。谷歌翻译与ChatGPT有相似之处，早期也经历了艰难，但坚持实践，取得成功。

问：你还记得Babel Fish吗？

乌斯克尔特：记得。

问：初始阶段，人们玩倒译文本，感觉很有趣。

乌斯克尔特：确实，结果有时令人啼笑皆非。

（注：乌斯克尔特离开谷歌后，与他人共同创立了Inceptive公司，致力于引入深度学习技术到生物领域。该公司正在研发“生物软件”，利用人工智能编译器转化行为为RNA序列，以在生物系统中执行功能。）

问：你目前的主要工作是什么？

乌斯克尔特：我与他人创立的Inceptive致力于设计真正可编程、高效的药物，相信这是“生物软件”的起点。

生物软件与计算机软件相似，设定规范并通过编译器转化为分子。通过引入人工智能编译器，将生物程序片段编译成分子，改变医学面貌。

问：这与mRNA COVID疫苗原理相似吗？

乌斯克尔特：mRNA COVID疫苗是简单示例。设计具有这些功能的分子将带来革命性变革。

问：如何确保不制造有害RNA序列？

乌斯克尔特：人类需谨慎操作，制定保障措施，严格遵循医学协议，确保分子安全性。

医学领域的复杂性需要谨慎对待，保障措施至关重要，确保分子安全性。

广告声明：文中含有外部跳转链接，仅供参考。请注意慎重查证信息。