字数 1020，阅读大约需 6 分钟

科幻照进现实！耶鲁大学发布 MindLLM：AI 读懂大脑，fMRI 信号秒变文字！

在科幻电影中，我们经常看到角色通过意念进行交流，而如今，这一幻想正逐步成为现实。耶鲁大学、达特茅斯学院和剑桥大学的科学家们联合发布了一款名为 MindLLM 的 AI 模型，该模型能够将功能性磁共振成像（fMRI）扫描的大脑信号直接解码成人类可理解的文字。这一突破性技术成果，为神经科学领域带来了巨大震撼。

挑战与突破

将复杂的大脑活动翻译成文字，一直被视为神经科学领域的重大挑战。过去的技术要么预测效果不佳，要么只能处理简单的“单选题”，应用场景有限。且这些技术往往缺乏跨受试者的通用性，换个人就可能失效。然而，MindLLM 的出现打破了这一僵局。

MindLLM 的强大能力

MindLLM 如同一位“超级翻译官”，能“听懂”大脑在“说什么”，并将其“说”出来。它的主题不限，用途广泛，能够适用于不同个体的大脑信号解读。这一成就得益于研究人员开发的大脑指令调整（BIT）技术，该技术使 MindLLM 能更精准地捕捉 fMRI 信号中的“语义密码”，从而提升解码能力。

实测数据的惊人表现

在各种 fMRI 到文本的测试中，MindLLM 的表现远超以往模型。其下游任务性能提升了 12.0%，即使面对“没见过的大脑”也能轻松“读懂”，未知主题泛化能力提升了 16.4%。更令人瞩目的是，即使面对全新的解码任务，MindLLM 也能迅速适应，新任务适应能力提升了 25.0%。这些数据展示了 MindLLM 的“全能学霸”实力。

广阔的应用前景

MindLLM 的技术成熟后，其应用前景将不可限量。对于失语症、渐冻症等语言障碍患者，MindLLM 有望帮助他们重获“说话”的能力，轻松表达自己的想法，与世界重新建立连接。对于健康人群，MindLLM 也为“意念控制”数字设备打开了大门，无论是操控“化身 AI”还是“控制假肢”，都将变得更加自然和人性化。

MindLLM 的设计理念

MindLLM 的“内外兼修”设计使其如此“神通广大”。它采用了主题无关的 fMRI 编码器，能从 fMRI 信号中精准提取大脑活动的“关键特征”，且不限于特定个体。同时，MindLLM 还搭载了现成的 LLM 大型语言模型，负责将提取的“脑电特征”流畅自然地“翻译”成人类语言。

大脑指令调整（BIT）技术的独特之处

为提升解码的准确率和通用性，研究人员独创了大脑指令调整（BIT）技术。通过“图像”作为“中间人”，BIT 让 MindLLM 学习各种任务，包括感知、记忆、语言、推理等，全面提升了模型对大脑“语义信息”的理解能力。这使得 MindLLM 成为一位“十八般武艺样样精通”的解码高手。

严格的测试与验证

为验证 MindLLM 的实力，研究人员在“综合基准”上进行了严格测试。结果显示，MindLLM 的表现远超预期，不仅在各项指标上全面超越基线模型，还能有效适应各种新任务，展现出惊人的可塑性和灵活性。此外，研究人员还对 MindLLM 的“注意力机制”进行了深入分析，发现其“决策过程”是“有迹可循”的，这为进一步理解大脑的工作原理提供了宝贵的“可解释性”见解。

论文链接: https://arxiv.org/abs/2502.15786