大模型与富内斯

博尔赫斯笔下有一位乌拉圭青年富内斯。一次坠马之后,他再也不能遗忘。他记得某天黄昏云的形状,记得葡萄藤上每一片叶子的脉络,甚至能把整整一天重新过一遍,而那需要整整一天。人们起初羡慕他,后来渐渐明白,他其实活得很辛苦。三点十四分从侧面看见的那条狗,和三点一刻从正面看见的那条狗,在他眼里是两条不同的狗。他的世界里有无穷的细节。他只能躺在黑暗里,因为只有黑暗肯替他挡住那些过分清晰的东西。

大模型像不像富内斯?在预训练阶段它读过了一个人几辈子也读不完的文字,像是把几十座图书馆整个咽了下去。 这样的联想很自然,但又好像不太贴切。 根据Transformer的原理,Q/K/V不是把东西原样存起来,而是实施了大量的压缩。 千万篇写秋天的文字,凉风、落叶、旧信,无法回头的感情,揉在一处,所余下的,是否是一种叫作秋意之物呢? 原文找不回来,留下的是规律,是词与词之间的关联远近,这是否是富内斯做不到的。 他留着每一片叶子,没有”树”;他脑子里有见过的每只狗,却没有”狗”这个词。 它是否更像富内斯的背面呢?

但背面也有背面的毛病。一个记不清的人被问起往事,总忍不住补上几笔。大模型有时也这样(尽管它好像每天都比昨天强一些),会编出一本不存在的书,一句没人说过的话,说得还很从容。富内斯困在太真里,它困在太虚里。两种不自由,是否相通。

于是又有人想给它加上记忆,记住每次对话,每个偏好。可记得多是否等于聪明呢?聪明大概是知道什么该记,什么可以放下。

人也是这样。忘了一个人的坏,才有原谅;忘了某场雨的冷,才有怀念;忘了许多具体的狗,才有”狗”这个字。遗忘不是记忆的缺口,倒更像是它的呼吸。人类应该庆幸有遗忘。

能记住的很多,值得记住的不多。

富内斯死在二十一岁。