大脑如何记忆时序信息？最新发布的这篇研究论文解析"时空”记忆的奥秘

在我们大脑的认知活动中，语言通讯、情景记忆等等都与时序信息有关。比如，问路时给出的一系列方向指引，唱歌时的段落的前后顺序，又如在本届北京冬奥会上，中国17岁小将苏翊鸣在坡面障碍技术赛场的行云流水般的完美表现也是时序信息和空间信息的完美融和。今天（2月11日2:00），《Science》期刊以长文形式发表了题为《序列工作记忆在猕猴前额叶表征的几何结构》的研究论文，该成果第一次在群体神经元水平阐释了序列工作记忆的计算和编码原理，推翻了基于单神经元建立的经典序列工作记忆模型的关键假设，为神经网络如何进行符号表征这一难题提供了新的见解，一起来了解记忆的奥秘↓

该研究由中国科学院脑科学与智能技术卓越创新中心（神经科学研究所）王立平研究组、上海脑科学与类脑研究中心闵斌副研究员和北京大学生命科学学院唐世明课题组合作完成。

人类大脑无时无刻不在处理序列信息，不论是语言沟通、动作实施还是情景记忆，本质上都涉及对时序信息的表征。另一方面，序列的执行需要一定的时间，大脑需要在应用时序信息之前记住整个序列。比如，我们需要在在问路时记住指路人给出的一系列方向指引，在学习新的舞蹈动作时记住老师演示的一连串动作模式。在这些情况下，不仅单个内容需要被记住，它们之间的顺序也不能混淆。认知心理学家们早在19世纪初就开始思考序列信息的表征方式，序列信息编码也被认为是人类语言句法结构的前提，机器学习领域对序列翻译的探索更是催生了如今大显身手的Transformer模型。但是，对于具有时序信息记忆的大脑神经编码机制，我们仍知之甚少。

猕猴是演化上最接近人类的模式动物，其认知能力、大脑的结构与功能相比于其他模式动物更接近人类，是研究时间序列等复杂高级认知功能的最佳模型。

因此，为了探究时序记忆编码问题，研究人员训练猕猴记忆由多个位置点组成的空间序列（图1）。在任务中，猕猴面前的屏幕上会依次闪现三个不同的点，它需要在几秒钟之后将这些点按之前呈现的顺序汇报出来。在汇报前的几秒记忆保持期内，空间序列的信息便以工作记忆的形式被暂时储存在大脑中。为了记录大脑神经元群体在猕猴进行任务时的活动状态，研究人员对工作记忆的大本营——外侧前额叶皮层进行了双光子钙信号成像。钙信号可反映神经元的脉冲放电活动，而序列信息表征的关键就在记忆期神经元群体的活动模式之中。

图1：猕猴空间序列记忆任务

大脑如何在记忆期内同时表征序列中多个信息？

研究人员猜想猕猴的大脑中也有一块“屏幕”，猕猴可以把出现过的点记在这个屏幕上。可如果三个点同时在记忆保持期内显示在了这个屏幕上，每个点的次序又该如何体现呢？猕猴的大脑里面是否会同时存在三块不同的屏幕？这样每个屏幕只需要记下一个点的信息，而且屏幕之间不会互相干扰。

研究人员分析了钙成像获得的高维数据，发现可以在高维向量空间里面找到每个次序的信息所对应的二维子空间(subspace)，即找到其对应的“屏幕”（图2）。在每个子空间内，不同的点所对应的空间位置与真实视觉刺激的环状结构保持了一致。进一步分析表明，不同次序所对应的子空间接近相互正交，说明大脑确实用到了三块不同的屏幕来表征序列信息。

图2：序列记忆在神经高维向量空间的表征

为了进一步探究大脑是否总是用相同的这几块“屏幕”记忆不同类型的空间序列，研究人员对数据做了解码分析，即运用机器学习方法训练线性分类器来区分不同次序上的空间信息。比如，用猕猴正确应答时的神经元群体活动训练解码器，可以在部分做对的序列里面取得较好的解码效果。这些结果提示了用于编码次序的“屏幕”是稳定通用的。

研究人员还发现，不同次序的子空间之间共享了类似的环状结构，只是环的半径大小会随次序的增加而减小。一个可能的解释是，次序靠后的信息所分配到的注意资源更少，导致对应的环变小、区分度降低。这一结构也对应了序列记忆的行为表现，例如我们日常生活中如果记忆的内容越多，越往后的信息便更容易出错。

该发现也可总结为在群体水平的空间信息编码几何结构受时序调制的性质。有意思的是，这种性质并不完全适用于单个神经元水平，而单神经元活动的增强调制正是经典序列工作记忆模型的关键假设，提示了序列记忆的编码应更加关注群体神经元性质。

该研究第一次在群体神经元水平阐释了序列工作记忆的计算和编码原理，也为神经网络如何进行符号表征这一难题提供了新的思路。上世纪80年代，人工智能领域就有研究者提出张量乘积这一概念来实现神经网络对符号结构的表征，但其如何在神经网络层面自然涌现一直没有被很好的解决。序列工作记忆的神经表征正好对应了将该符号表征由对应次序的子空间嵌入到高维向量空间中，同时支持了下游神经网络对符号结构信息的线性读取。

中国科学院脑科学与智能技术卓越创新中心王立平研究组博士后谢洋和研究助理胡沛烑为论文共同第一作者，研究助理李俊汝、博士生陈静文和北京大学研究生宋卫彬在课题的不同阶段作出了贡献。法国国家健康与医学研究院Stanislas Dehaene教授、纽约大学汪小京教授和中科院脑智卓越中心杨天明研究员参与本研究。