Cell子刊最新综述：拆解大语言模型“黑箱”：注意力头如何模拟人类大脑的推理机制？

最新发表在Cell子刊《Patterns》上的一篇综述论文《Attention Heads of Large Language Models》系统揭示了大语言模型（LLMs）中注意力头的运作机制，并提出了一种四阶段认知框架。该研究发现，特定注意力头具有高度专业化功能，如知识回忆头（KR Heads）从参数记忆中提取常识，上下文识别头（ICI Heads）识别并整合语义结构，潜在推理头（LR Heads）执行逻辑推理，表达准备头（EP Heads）确保输出一致性。这一四阶段模型（KR-ICI-LR-EP）将LLM的推理过程与人类认知机制对齐，为理解LLM内部工作机制提供了新的视角。例如，在选择题场景中，浅层注意力头负责从长期记忆中激活相关概念，而中层注意力头则进行语法解析和信息整合。这项研究为拆解LLM“黑箱”提供了重要线索。