大语言模型生成文本的能力让它们也能规划和推理

以莎士比亚十四行诗的形式表述量子物理；一个海盗会怎么介绍贸易理论；讲一只恐龙遨游太空的童话故事……人们让现代聊天机器人生成各种各样稀奇古怪的文字内容，玩得不亦乐乎。有些请求在现实世界中是有用的，比如：旅行路线、学校作文或计算机代码。现代大型语言模型——LLM——可以生成所有这些内容。不过，不想写作业的人要当心了，这些模型可能会弄错一些事实，还容易出现其创造者称之为“幻觉”的奇思妙想。

除了偶发的小问题，所有这一切都体现了巨大的进步。即便放在几年前，这样的程序还只存在于科幻小说中。但大量按需写作可能并不是LLM最重要的能力。它们的文本生成能力使它们能够充当多用途的推理引擎。它们可以遵循指令，制定计划，发出命令来让其他系统执行。

毕竟，语言不仅仅是文字，还是世界“底层复杂性的一种表现”，斯坦福大学下属以人为本AI研究所的教授珀西·梁（音）指出。这就意味着，一个有关语言如何运作的模型，在某种意义上也包含了有关世界如何运作的模型。AI投资基金Air Street Capital的内森·贝纳奇说，一个接受大量文本训练的LLM“基本上是在补全文本的基础上学习推理”。

用LLM控制其他软件的系统正在激增。例如，由浙江大学和微软研究院创建的HuggingGPT是把ChatGPT用作一个任务规划器，把用户的问询请求分配给从Hugging Face中调取的AI模型。Hugging Face是一个集合了为文本、图像、音频任务接受训练的各种模型的工具库。由微软研究人员创建的TaskMatrix.AI让聊天机器人与音乐服务、电商网站、网络游戏等线上资源展开交互。

谷歌的研究人员创建的PaLM-E使用一个用传感器数据和文本进行训练的“具身”LLM来控制一个机器人。它可以理解并执行诸如“把抽屉里的锅巴脆拿给我”或“把红色积木推到咖啡杯那边”之类的任务。由创业公司Significant Gravitas的托兰·布鲁斯·理查兹创建的Auto-GPT通过把各种不同的线上资源结合起来，用GPT-4生成和发展商业创意。诸如此类。

贝纳奇说，让LLM与现实世界中的装置连接起来的前景把“安全人员吓坏了”。但把此类系统变得更安全是当前许多研究的关注点。一种希望是，如果LLM用来接受训练的数据集结合了文本、图像、视频以提供有关世界如何运作的更丰富感知，那么，它们出现幻觉的情况会减少。另一种方法是，通过形式推理能力或任务列表和长期记忆等外部模块来增强LLM。

观察人士一致认为，围绕LLM构建各种系统将推动未来几年的进展。“该领域基本上正朝着这个方向发展。”艾伦AI研究所的奥伦·艾奇奥尼说。

但在学术界，除了实验全新的方法，研究人员也在尝试自己完善和改进LLM。梁博士的团队最近开发了一个名为Alpaca的模型，目的是方便学术研究人员探究LLM的能力和局限。毕竟，用私营公司开发的模型来做这件事，并不总是很容易。

梁博士指出，今天的LLM基于谷歌开发的所谓“transformer架构”，具有有限的“上下文窗口”——类似于短期记忆。将窗口的长度增加一倍，会使计算量增至原来的四倍。这限制了它们改进的速度。许多研究人员正在研究“后transformer”架构，以支持大得多的上下文窗口——一种被称为“长学习”（与“深度学习”相对）的方法。

 “你好，戴夫！今天看起来不错嘛！”

与此同时，其他研究人员正在寻求拓展“扩散”模型的能力。这类功能驱动的生成式AI模型（如Stable Diffusion）可以根据简短的文本提示，生成高质量的图像，比如，“达利风格的《经济学人》报道银行业的封面图片”。图像是连续性的，而文本则由离散的单词组成。但梁博士说，把扩散应用于文本是可能的，这可能会提供另一种改进LLM的方法。

在一片兴奋之情中，现代AI的重要人物之一杨立昆发出了怀疑的声音。在5月于纽约大学举行的一场辩论中，他认为当前形式的LLM“注定失败”，想要控制它们的输出或防止它们犯事实错误的努力不会有所成效。“这不是我的同事们的普遍看法，但我认为它修不好。”他说。他担心这个领域走错了路：LLM是一条岔道，离开了通往更强大AI的大路。

他所指的“通用AI”（AGI）是一些研究人员眼中的圣杯。有些人认为AGI已触手可及，只要构建越来越大的LLM就可以实现。其他人则不这么看，杨立昆就是其中之一。贝纳奇指出，无论它们是否最终被证明是死胡同，LLM的发展程度可能已经超出了几年前任何人的想象。不管你如何定义AGI，比起两三年前，AI研究人员似乎更接近它了。