← 全部文章
文章2.6 千字

知识之锁

下载全文MarkdownLaTeX

人类组织的知识上限

人力能及的知识探索范围是有限的,这个上界显然存在,并且我们正在不断逼近。天生圣人与生而知之者的存在虚无缥缈,而人类整体共享的知识难逃如下引论的约束:

  1. 新的知识总是在旧知识基础上产生;

  2. 单人的知识容量有限。

而现代科学产生以来的发展脉络也可以佐证上面的两个引论,我们可以看到这样的两个趋势:

第一,对于某个单一的学科而言,成为前沿研究者的门槛在不断提高。或者说想要发现新知识所需要掌握的旧知识越来越多。这意味着想要获得同样的进步,或者需要更长时间的教育,或者需要更天才的人来研究,而这两者都有上限。一个间接的证据是近年来诺贝尔物理学奖得主获奖的平均年龄在逐渐提高。

第二,整体的知识在被不断的细化,学科分类越来越精细。这可以说是社会分工的体现,但也可以说是对个人掌握知识能力有限做出的妥协。到了目前这个年代,已经无法看见横跨多个学科的大师,能够同时涉足学科内部几个方向并作出成果的人就已经是相当了不起的带头大牛。这种现象看起来似乎不会影响人类作为整体发现新知识。这其实增加了知识获取的隐性成本。学科间的交流成本乃至学科内不同方向的交流成本在不断增加,“隔行如隔山”乃至“隔方向如隔山”已经成为现实。不同领域知识交流的困难可能会使我们失去很多发现新知识的机会。

后者也可以被概括为随着学科分类不断细化,人类组织的协作复杂度爆炸式提高,最极限的情况就是协作与交流本身将研究者的心智与科研组织的架构吃满。

就像教育多少代黑猩猩也无法让它们掌握微积分,除非它们当时进化成的是智人,智人也有这样一个智力上限,只不过是比黑猩猩高,除非能够继续进化。

大语言模型是否全能

人工智能的诞生显著提高了人类知识探索的能力。然而其并不能摆脱上述引论中所描述的限制,当下风头最盛的大语言模型尤其如此。

“新的知识总是在旧知识基础上产生”,“单人的知识容量有限”在大语言模型存在的情境下本质不变,但是表现形式发生了迁移。

第一,大语言模型发展的瓶颈之一是“有效旧知识太少”。当下大语言模型构建知识体系的来源可以分为来自人类的知识与模型自己产生的知识。大语言模型的规模与参数量的扩张速度要远高于人类知识库的扩张速度。人类产生的并且在当前可获取的书籍总量规模在4亿本到5亿本,公开发表的学术论文总量规模在1亿篇到2亿篇。这是人类知识库中最精华的部分,换算成数据量在10 PB左右。对于一个人类个体乃至与科学组织而言,这样的知识量是无法掌握的,但是对于大语言模型而言,这些内容属于不可再生的矿产,并且很快会被挖掘干净。大语言模型的知识来源的第二部分是自身产生的知识,这里面又可以分为两种:基于人类知识做出的预测;基于自身反馈对形式科学的探索。前者的来源本质上还是人类知识库,而AI生成内容在总体知识中占比的提升会使整体知识库质量劣化,因为这种生成内容难以获得现实世界的反馈。后者则是AI产生的有效新知识,形式科学,比如数学与计算机科学,可以在没有物理世界反馈的情况下得到自身的反馈。因此大语言模型在这两方面目前表现最强,并且展现出完全超越人类的潜力。

第二,大语言模型的知识容量巨量提升,人类组织中的交互成本被转移到了检索与召回,具体表现就是上下文容量与压缩。对于大语言模型而言,知识存储容量可以认为是几乎可以无限扩展的,但是工作容量,或者说活跃在思考链路中的上下文容量是有限的。想要扩展上下文容量,或者说工作内存,会面临与复杂人类组织扩张相同的问题。那就是高效的边界非常有限,超过这一边界之后的大部分成本将用于维持组织本身。上下文压缩可以部分解决这一问题,但是重复压缩本身就会带来失真,直到偏离真实情况。

总结一下。第一,大语言模型的知识探索第一重限制来自与人类知识的交互以及与现实世界的交互。除了形式科学中的知识,大语言模型进化所需的有效知识极为有限。第二,作为一种存在于现实世界中的实体,大语言模型与人类一样会面临容量限制,只不过不在知识库的规模上,而是在上下文的规模上。这两种限制中,第一种限制是有机会解决的,而第二种限制可能是所有智能系统所具有的根本限制。

形式科学与物理世界

现有的大语言模型在形式科学如数学和部分计算机科学中取得了非常惊人的成果。这与形式科学以及大语言模型的特性强相关。

形式科学的根本特点是其断言的“真”完全在其构建的规则内部判断,或者说“真”即是指规则内部的一致性,而不涉及与物理世界的交互。形式科学的内容本质上也可以认为是一种结构化的语言序列,是一种“符号-规则-外推”的系统。这样的特点使其完美命中大语言模型的最佳工作区。

第一,形式科学中的真伪校验是不涉及物理世界的,对于大语言模型而言的低成本校验。因此大语言模型在形式科学中的探索可以获得高效的真实反馈,这样的反馈效率远高于来自人类知识的反馈。大语言模型自身在这样的过程中可以实现文本内的闭环。

第二,大语言模型的基础就是对序列化文本的预测,这与形式科学天然存在同构。大语言模型最擅长的就是对序列化文本缺失内容的补全,而形式科学本身就是对已有结构的形式化表达。

很遗憾,在形式科学中的超级能力并不足以使大语言模型成为真正的通用人工智能。根本问题之一就是,形式科学中的“真”与物理世界中的“真”并不能互相迁移。形式科学中的“真”,只代表形式体系内部的一致性,而物理世界中的“真”,则往往意味着与现实世界相符。从数学到物理的迁移往往依赖于某种形式化的假设,然后在这样假设的基础上,或者说在这样假设所能覆盖的范围内,数学所做的判断才有意义。

关于数学为何在真实世界中如此有效,这一问题实在太深,本文无力探讨。但对于大语言模型而言,数学“真”与物理“真”的不对应则带来了反馈回路的开环。现有的大语言模型没有办法与物理世界产生直接与真实的交互,这使得其面对形式科学以外的问题必须借助人类作为代理,这大大降低了其获取与产生世界知识的效率。

那么具身智能是否是人工智能进化成通用人工智能的关键节点?

是的,能自身与物理世界产生直接交互的人工智能无疑是通往通用人工智能的关键路径。但是,必须注意到,以人类自身为蓝本的“具身智能”不具备超出人类能力的潜力。现有人类知识库无法快速扩张的原因之一就是人类个体及组织与物理世界交互的有效带宽极为受限。通过模仿人类而与世界交互则不会提高与物理世界交互的带宽上限。通用人工智能一定具备具身智能,但超过人类的强大人工智能一定不会以人类本身为蓝本出现。

在一个天翻地覆的时代,愿所有智慧都能看到更多。

保存全文MarkdownLaTeX