只是记录一些无端的思绪：
现在业界的共识是下一个智能阶梯是从 agent 转换到持续学习，让大模型有持续学习的能力。这一块或许需要攻克的就是如何把短期记忆去变化到模型的长期记忆。
把人类智能狭义地拆开，大致是知觉、注意、记忆。
同一个模糊的形状，放在浴室里像吹风机，挪到工作台上又像电钻。形状没变，我们对它的理解却变了。
这件事看起来很简单，却很能说明人类认知的特点。我们总以为自己先看见，再理解；实际上，理解从“看见”的那一刻就已经介入了。
知觉
视觉并不是对物理世界的逐点复刻。
马赫带是一个很典型的例子。在明暗区域的交界处，我们感受到的亮度差异往往比实际更明显。视觉系统增强了局部变化，于是物体的边缘更容易从背景里浮现。它当然可以被叫作错觉，但这个错觉很有用。
格式塔心理学讲的也是类似的事。相近的元素会被看成一组，断开的轮廓会被自动补全，杂乱的图形常被理解成一个更简单的整体。哪怕已经知道自己被骗了，我们通常也没办法命令眼睛换一种看法。
奈克尔立方体把这种建构表现得更直接：同一个图形可以被看成两种不同的朝向，而且两个解释都成立。
很多加工发生在意识之前。大脑根据已有经验提出一个猜测，再用新进入的信息不断修正它。浴室里的吹风机和工作台上的电钻，就是这种上下文作用最直观的表现。
从建构主义的视角看，我们对世界的理解一直由两股力量共同完成：一边是自下而上的感官信号，一边是自上而下的知识、经验。
同样的信息落到不同的人那里，最后形成的理解未必相同。主观性会制造偏差，也让我们可以用很少的信息，迅速猜出眼前大概是什么。
注意
知觉组织信息，注意决定接下来处理哪一部分。
比如在一张复杂的厨房图片里找水龙头。它可能很小，单靠视觉特征并不显眼，但我们知道水龙头大概率在操作台附近。有了这点常识，大部分区域一开始就被排除了。
“注意”有两种很直观的来源：闪烁的灯光、强烈的声音，会从外部把注意拽走；“我要找水龙头”这样的目标，则从内部引导搜索。
前者是外源性的，后者是内源性的。我们一直在两者之间切换，既被环境吸引，也带着目的观察环境。
同样的，注意不只是让某些东西更清楚，也会让另一些东西直接消失。
有个实验把一只猩猩图片放进肺部 CT。正在专心寻找细小病灶的专业人员，依然可能忽略这个远比病灶显眼的东西。我们觉得自己看到了整个画面，其实只处理了当前任务筛出来的那一小部分。
选择一定伴随着排除。外部信息很多，大脑真正能深入加工的内容很少。放到某个瞬间看，人类的智能其实非常“窄”。
记忆
被注意到的信息，不会自动变成长期记忆。
工作记忆更像一张临时操作台，容量小，内容也在不停变化。经典研究曾用“7±2”描述某些记忆任务，具体数字并不固定，但它的有限是确定的。
大脑如何去决定什么记忆留下，什么消失？“目标”是一个重要因素。明确知道某段信息之后要用，我们就会投入更多注意，反复理解和复述。新颖、情绪强烈或频繁出现的内容，也更容易进入长期记忆。
这里需要提出激活扩散网络的概念：
长期记忆的组织更接近一张由许多节点组成的网络，节点之间的连接有强有弱。一个概念被激活，激活就会沿着连接向附近扩散，让相关信息更容易被想起。
看到一瓶熟悉的水，品牌、味道和某次饮用经历可能一起冒出来；看到完全不懂的数学公式，视觉信号进来了，却没有多少已有知识能接得住它。相同的信息落到不同的人那里，会激活完全不同的网络。
专家和新手的差别也在这里。专家拥有的不只是更多事实，那些事实之间还存在更丰富的连接。新知识进入大脑，有点像给图书馆添一本书：你得知道它该放在哪一排，旁边又应该是谁。
再聊回 AI
可以把上下文粗略看成“短期记忆”，把模型权重看成“长期记忆”，但这只是类比。新信息不会在正常推理时自然写回参数。
短期记忆向长期记忆的转换，人脑的路径更像是：先由目标和注意筛选信息，再通过理解把它接入已有的激活扩散网络；需要时，根据线索激活相关内容，再由目标进行监控和取舍。
而人脑容量目前在某种意义上可能是比模型大的，此外模型内的知识（视为人脑则叫长期记忆）是非常稠密的。如果模型要学习新的知识，相当于改变了一些参数的权重，但这些参数可能同时意味着很多东西，在训练的过程当中，它有哪一个参数调节超出阈值，就很容易会出现灾难性遗忘情况。
在持续学习这个命题上，大模型的记忆难点不只是存储量，还包括什么值得写入、怎样组织关联，以及当前任务该唤起哪一部分。
虽说机器不必复刻人脑，但这个问题本身值得保留。