IEEE TMI生成式AI赋能脑机接口双模态信号采集新范式

近年来，脑机接口（BCI）技术在医疗、康复等领域展现出巨大潜力，但传统单一EEG信号的空间分辨率低且易受干扰。为提升性能，中国科学院深圳先进技术研究院王书强课题组提出了一种创新的解决方案——SCDM模型，利用生成式AI技术从EEG信号生成fNIRS信号，实现双模态信号采集。该模型包含空间跨模态生成（SCG）模块和多尺度时序表示（MTR）模块，前者通过改进的二维注意力机制学习空间表示，后者通过因果扩张卷积和深度可分离卷积捕捉时序特征。研究结果表明，合成的fNIRS信号在分类性能上与真实信号相当甚至更优，并在空间分布和时间特征上高度一致，保留了与EEG信号的空间对应关系。SCDM模型不仅解决了同时记录EEG和fNIRS信号的难题，还为未来BCI系统的进一步发展提供了新的方向。研究成果发表于IEEE Transactions on Medical Imaging。