导读
本研究介绍了一种深度学习架构，用于评估40名癫痫患者的多模态脑电图(EEG)和功能性近红外光谱(fNIRS)记录。长短期记忆网络和卷积神经网络集成在一个多模态序列到序列的自编码器中。训练后的神经网络通过从EEG全谱和特定EEG频段中分层提取深度特征，从EEG中无先验地预测fNIRS信号。结果表明，与其他频谱包络相比，更高频率的EEG范围可以预测fNIRS信号，其中gamma频段的输入主导fNIRS预测。基于种子的功能连接验证了实验性fNIRS和本研究模型的fNIRS重建之间的相似模式。本研究首次证明，在关于EEG频段如何解码fNIRS信号的特定假设背景下，基于频率振荡的功率谱振幅调制，可以从静息态人类癫痫脑中的编码神经数据(EEG)预测脑血流动力学(fNIRS)。
前言
功能性近红外光谱（fNIRS）是一种无创、便携且经济高效的神经成像技术，它使用近红外光持续监测大脑血流动力学参数（即氧合血红蛋白(HbO)、脱氧血红蛋白(HbR)和总血红蛋白(HbT)）的变化。fNIRS方法依赖于神经血管耦合现象，该现象描述了神经活动和脑血流之间密切的时空关系，以绘制大脑的急性功能变化。在典型的fNIRS装置中，与近红外光源相对应的光电器件及其附属探测器被放置在受试者的头部表面。从光源发出的红外光在进入大脑组织时被吸收或散射。使用修正的比尔-朗伯定律，检测到的光用于计算与大脑血流动力学活动相关的血氧变化。血红蛋白氧合浓度的变化可以量化大脑对红外光的吸收。
fNIRS方法作为其他功能成像技术(如fMRI)的替代或补充具有以下优点。与fMRI相比，fNIRS提供了更高的时间分辨率，并且fNIRS硬件可以与头皮脑电图（EEG）等其他模态集成。fNIRS信号最近已用于研究大脑状态解码，并在过去的十年中被证明可用于脑机接口(BCI)研究。
头皮EEG技术是研究人脑的临床黄金标准，EEG记录可分为特定频带：alpha，beta，delta，gamma和theta。Delta频率范围包括振幅相对较高的低频和0.25-3.0Hz的缓慢波形。Delta频率在正常睡眠中很常见，可能偶然出现在局灶性病变、代谢性脑病或脑积水中。Theta频率范围介于4到7Hz之间。虽然在年轻人中是正常的，但在醒着的成年人中，theta频率包络被解释为活动缓慢。与delta波一样，theta波可见于局灶性病变或弥漫性神经疾病中更广泛的分布。Alpha频率在8至13Hz之间，是清醒成人的主要节律。Beta活动的频率范围在14至30Hz之间，通常观察到双侧额叶对称分布。更高的频率范围(30-100Hz之间)用gamma波表示。Gamma活动比较常见，在快速眼动睡眠中会增强。
多模态EEG-fNIRS实验装置记录了大脑活动的时空动态，为观察神经集群的动态提供了机会，并为基础和临床分析提供了更多益处。在这种情况下，头皮EEG测量大脑的电活动，而fNIRS信号编码大脑的血流动力学响应，神经活动大约有3s的延迟。来自EEG-fNIRS装置的数据已经建立了神经元放电与HbO、HbR和HbT变化之间的因果关系，反映了神经血管耦合所导致的电和血流动力学波动。最近的兴趣集中在从EEG记录的活动中确定空间血流动力学相关性，特别是在血氧水平依赖信号(BOLD)中。静息态研究已成功证明，低频EEG频带信号(尤其是特低频gamma EEG频谱包络)与BOLD信号的调制呈负相关。
电生理学和脑血流动力学之间关系的表征在癫痫中具有临床意义。癫痫是大脑异常活动的反复发作，通常伴随阵发性的功能紊乱。引起癫痫发作的神经血管机制在正常功能的大脑中间歇存在，在某种程度上表明癫痫是一种动态障碍。静息态下的癫痫大脑显示自发的神经活动，这反映了其功能组织。每个组成部分（即神经和血管）的相互依赖性是更广泛的临床和神经科学界感兴趣的主题。功能磁共振成像研究表明，癫痫患者大脑中的静息态网络在其功能结构上发生了变化。越来越多的fMRI研究中的无任务静息态条件是基于这样的假设进行的：功能连接的大脑网络随着时间的推移表现出类似的活动特征。
静息态fMRI研究表明，癫痫患者的功能网络异常。临床前研究表明，静息态BOLD信号（~0.1Hz）的缓慢波动与gamma波段局部场电位神经元放电速率的缓慢波动之间存在相关性。这表明静息态与生理活动的动态神经元过程有关。利用fNIRS信号进行静息态功能连接已成为研究大脑功能的一种有前景的成像工具，并为研究人类癫痫脑内的内在网络提供了有价值的见解。本研究假设，可以使用深度学习架构从40名癫痫患者队列收集的静息态多模态EEG-fNIRS记录中预测脑血流动力学。此外，与低EEG频率包络相比，高EEG频率包络产生的功能连接模式增加。
方法
被试和流程
招募了40例难治性局灶性癫痫患者（男性27例，女性13例；年龄在11至62岁之间；平均年龄=32.42岁，标准差=13.97岁）进行长时间的EEG-fNIRS记录。癫痫诊断和癫痫灶定位是基于综合评估，包括临床病史、发作间期棘波和癫痫发作的视频EEG记录、磁共振成像(MRI)、正电子发射断层扫描(PET)以及部分患者的单光子发射计算机断层扫描(SPECT)和脑磁图(MEG)扫描。
EEG-fNIRS数据采集和预处理
连续EEG-fNIRS记录在加拿大蒙特利尔圣贾斯汀医院光学成像实验室进行。实验方案确保在数据采集过程中，环境噪音和灯光保持在最低限度，以使患者感到舒适。进一步指导患者保持冷静，并将其安置在舒适、气候可控的房间内，拉上窗帘以限制环境光线。训练有素的临床工作人员对患者进行持续远程监测。使用Imagent组织血氧仪系统收集fNIRS数据，该系统是一种多通道频域系统，记录频率为19.5Hz，波长为690nm和830nm，分别对HbR和HbO敏感。根据标准10-20系统，使用19个电极位置（Fp1、Fp2、F7、F3、Fz、F4、F8、T7、C3、Cz、C4、T8、P7、P3、Pz、P4、P8、O1、O2），在500 Hz时记录EEG数据(Neuroscan Synamps 2TM系统)。使用定制头盔，考虑到不同的头部尺寸和形状，以便于舒适贴合。头盔总共配备了64个光源、16个光探测器和19个EEG电极，以保证皮层区域和头皮之间的稳定光耦合。这在很大程度上进一步防止了光极偏移和运动伪影。近红外光对皮层组织的敏感度是通过将光电器件放置在相距约3-4cm的位置来保持的。电极按照10-20 EEG仪器标准放置，使头部完全覆盖。图1显示了放置在患者头部的EEG-fNIRS头盔。
图1.用于EEG和fNIRS数据采集的多模态EEG-fNIRS头盔。
EEG数据在0.1-100Hz之间进行带通滤波，以去除仪器噪声和与生理活动相关的漂移，尤其是高频漂移。对HbO和HbR信号未经处理的原始时间序列进行带通滤波，以去除心脏（约1Hz）或呼吸活动（约0.2-0.3Hz）的特定频率成分。在分析之前，通过对信号强度的通道验证检查信号保真度。将带通滤波应用于EEG数据，以计算感兴趣的频段。使用FIR带通滤波器，delta、theta、alpha、beta和gamma频率的低截和高截值(Hz)分别设置为：[1，4]，[4，8]，[8，12]，[12，30]，[30，100]。用于通道分析的信噪比(SNR)阈值定义为小于所有通道平均信噪比30%的通道。剔除具有SNR的fNIRS通道，不纳入后续的分析中。这导致每个患者平均有138个通道。通过HomER和MNE软件包计算HbO和HbR的变化。
进行了多次连续的记录，每次记录约15分钟，共有200次记录，总记录时间为50小时。对静息态数据进行0.01-0.1Hz频率范围的带通滤波。静息态时间（取自患者舒适休息时）在7-10分钟之间，平均为8.35分钟。为了校正运动，本研究通过对EEG-fNIRS数据进行主成分分析，并去除方差最大的成分。此外，应用伪迹拒绝（与归一化强度相差10%）来去除额外的运动伪迹。然后以0.2Hz的截止频率滤除呼吸和心脏信号的影响。最后，使用修正的比尔-朗伯定律计算每个通道的HbO浓度。
利用神经导航技术(Brainsight, RogueResearch Inc.)对光极和电极位置进行结构MRI配准。通道位置与患者MRI相互参照，并进行调整，以确保癫痫病灶、对侧同源区域以及其他脑区的覆盖范围。MRI被分为六层：空气层、头皮层、颅骨层、脑脊液层、灰质层和白质层。灰质层用于提取六个二维皮层投影。每个通道的三维位置投影到这些二维地形图上，其中考虑了以下视图：背视图、前视图、左视图和右视图。
神经网络结构
本研究构建了一个深度序列到序列的多模态自编码器，从输入的头皮EEG信号中预测fNIRS信号。自编码器是一种强大的机器学习模型，以自监督的方式训练，通过学习其抽象表征来重建输入。该自编码器将信号嵌入低维潜在空间，其中编码器和解码器都用深度神经网络表示。
由于循环神经网络(RNN)能够描述数据的时间状态，因此在时间序列建模中得到了广泛的应用。输出取决于隐藏单元中的隐藏状态和反馈连接。在本研究模型中，使用了时间反向传播，这是一种常见的梯度下降式训练技术。基于RNN梯度训练的固有问题是，通过循环连接传播的导数要么变得非常小，要么变得非常大，分别导致梯度消失或爆炸。长短期记忆单元（LSTM）是普通RNN体系结构的变体，它克服了梯度消失的问题。LSTM单元接收外部输入，通过输入、输出、遗忘门和记忆单元生成隐藏输出。门和存储单元用加权链接进行内部连接。这些门与外部源相连接，这些源是当前状态的顺序输入和先前的隐藏状态。这样可以防止LSTM存储无用或有噪声的输入信息。
Srivastava等人(2015)提出的LSTM自编码器模型（LSTM-AE），由编码器LSTM单元和解码器LSTM单元组成。编码器LSTM接收输入序列，并在LSTM生成隐藏输出时将其编码为特征向量。同样，解码器LSTM接收特征向量并将其解码为原始输入序列。LSTM-AEs学习序列数据的压缩表示，并已用于视频、文本、音频和时序序列数据。本研究结合了多个LSTM层来学习时间表示。本研究模型还包括卷积层，用于从通道组合中提取高层空间感知。这里的输入考虑血流动力学延迟的EEG序列数据，以执行序列到序列的编码。这些输入的EEG序列由两个卷积神经网络(CNN)卷积，然后输入到前两个编码长短期记忆(LSTM)模块。EEG数据样本通过固定长度的向量投影到潜在空间中，提供更多的压缩表示，然后由LSTM解码模块用于解码和重建输出的fNIRS数据。
在对多个体系结构进行了详尽的超参数优化测试后，将模型设计为：编码器由LSTM层和卷积块组成。每个块中的卷积的核大小为（1，7），步长为（1，2）。解码器由LSTM层组成，该层对潜在空间中的向量进行操作，以提供与fNIRS样本相同的最终输出维数。根据跨模态重建误差(RE)对模型进行了评估。目标是同时最小化fNIRS数据样本之间的距离，并最大化每个fNIRS和EEG数据点之间的距离（即最小化RE等价于最大化似然函数）。一旦对模型进行了训练，通过计算所有L维上xt与其相应的重建
之间的欧氏距离之和，在一个独立的测试子集上计算相应的RE，如公式1所示：
模型输出表示为
EEG数据处理如下。首先，从数据目录中解析匹配的EEG和fNIRS数据，然后根据静息态周期标记相应的数据(EEG或fNIRS)。使用MinMaxScaler类对EEG输入数据进行特征缩放，将该类值的范围设置在0到1之间。输入信号在输入模型之前以均值为中心。然后，将数据馈入卷积层，并传输到LSTM和反卷积模块。模型的详细示意图如图2所示。
图2.使用患者特定序列到序列的LSTM自编码器模型进行多模态EEG到fNIRS的重建。
训练细节
该模型以患者特定的EEG信号作为输入来解码fNIRS信号。对于每个患者，数据被随机分为训练、验证和测试子集，比例分别为60%、20%和20%。对不同的模型深度进行实验，确定了深度LSTMs的性能优于浅层LSTMs。这可能是由于层数增加导致隐藏状态变大所致。完整的训练细节如下。
①使用0~1之间的均匀分布来初始化LSTMs的参数。这样做是为了抵消LSTMs固有的梯度爆炸问题，从而对0到1之间的梯度范数施加硬约束。同时，通过准备一个包含输入EEG数据和目标标签的馈入字典来指定LSTM计算的起始节点值。值得注意的是，LSTM可以学习如何将输入序列映射为特定于患者的模型训练到固定维度的向量表示，并且可以学习时间依赖性。
②通过时间反向传播，学习率为0.05，批大小为60和训练周期为50，所有这些都是启发式确定的。
③每个fNIRS信号生成对应于一个EEG序列输入。EEG序列中的一个元素对应于1秒的记录，每个EEG通道有500个时间点(采样率为500Hz)。通过使用Keras框架中用于批生成的实用程序类，生成用于序列处理的数据批次。简单地说，该类使用一系列数据点作为输入，以生成用于训练和验证的批次。输出序列中不使用静息态周期开始和结束之外的数据点。最终作为输入的EEG数据是二维的，即[数据点，通道]。
结果
全谱EEG性能与特征分析
模型中输入所有通道的静息态全谱EEG信号。为了从编码的EEG通道中解码fNIRS通道，该模型的解码器层使用编码器的潜在状态作为通过LSTM单元传输的数据输入。图4量化了以全谱EEG信号作为输入的个别患者的表现。图5提供了所有患者头皮全谱EEG记录的重建误差的组估计值。
图4.从脑电活动解码预测血流动力学信号。
图5.全谱EEG到fNIRS的重建。使用来自所有通道的全谱EEG信号的组估计作为输入，重建所有fNIRS通道的全谱fNIRS信号。
单独记录Session的患者内重建
这里报告了以EEG静息态作为输入的患者内fNIRS重建结果。具体来说，假设本研究模型在使用患者的单一记录进行训练时，能够从后续记录中重建fNIRS信号。为了检验模型的预测能力并交叉验证该模型，首先对患者的单个记录进行网络训练。接下来，使用训练过的网络，从同一患者的后续记录中重建fNIRS信号。数据以60/20/20的方式划分为训练、测试和验证子集。这是针对所有患者和记录的所有数据进行的。图6显示了患者内fNIRS信号重建的结果，图7显示了患者10的通道5在记录1、3、4之间的fNIRS重建结果。
图6.患者内fNIRS重建的结果。
图7.从患者内的脑电活动预测血流动力学信号。黑色和红色曲线分别对应实验信号和重建信号。
重建的空间变异性
然后，本研究考察了模型预测对头部通道位置的灵敏度。该模型的地形鲁棒性表明，预测在整个大脑中是相当稳定的。如果通道位置能够在源/探测器蒙太奇的约束下覆盖大部分大脑，并且信号保真度达到“EEG-fNIRS数据采集和预处理”部分所示的可接受水平，则选择通道位置。图8显示了该模型对患者10的空间预测。
图8.患者10的fNIRS空间重建。
EEG频率分解与静息态预测
在模型训练和验证后，本研究计算了EEG频段，即：delta [0.5-3Hz]、theta[4-7Hz]、alpha[8-13Hz]、beta[14-30Hz]和gamma[30-100Hz]。为了确保在相应的频率范围内存在合适的功率，使用Welch功率谱密度函数获得EEG信号的功率谱。Welch方法优于其他方法（即标准周期图谱估计和Bartlett方法），因为Welch方法通过降低估计功率谱中的信号噪声来抵消降低的频率分辨率。Welch方法将信号划分为重叠段，从而减少边缘数据的丢失。然后对重叠的数据段进行时域加窗。随后的计算包括离散傅里叶变换，以及对周期图进行平均，得到最终的nxm阵列，该阵列通过频率箱表示功率测量值。所有计算（包括傅里叶分解、Welch功率谱密度）均使用MNE软件包进行。图9显示了根据患者10（fNIRS通道10）输入的EEG频率范围进行的模型预测。
图9.给定EEG频率范围输入的静息态fNIRS预测(患者10，fNIRS通道10)。
本研究计算了每个EEG频率范围的解码fNIRS重建误差指标，并计算了患者的重建误差，如图10所示。gamma和beta频段的错误率最低，而在较低的EEG频率范围内，可以观察到fNIRS重建误差增加，可能是因为本研究模型可能无法学习适当的特征来重建fNIRS信号。
图10.所有患者、所有通道的特定EEG频率范围的fNIRS重建误差。
为了进一步确定哪个EEG频段能够以最小平均重建误差来重建fNIRS信号，研究者计算了所有患者的频段重建误差，如图11所示。随后进行了单尾配对t检验，以检验以下组合中的重建误差是否存在统计差异：[delta，gamma]，[theta，gamma]，[alpha，gamma]和[beta，gamma]。然后应用Bonferroni校正将FWER控制在0.05以下。与其他频段相比，gamma频段重建fNIRS信号的平均保真度更高。
图11.特定EEG频率范围内的平均fNIRS重建误差。与其他频段相比，gamma频段具有更高的保真度和最低的重建误差。
功能连接结果
本研究计算了实验fNIRS和模型fNIRS重建的功能连接映射。比较了所有患者的实验fNIRS与来自全谱EEG和EEG gamma频段的fNIRS重建信号。使用均方根误差作为功能连接研究中的误差估计量。在组水平上可以观察到，与来自gamma频段的实验fNIRS和fNIRS重建相比，从全谱EEG得出的实验fNIRS与fNIRS重建之间的功能连接分析误差更小，如图12所示。
图12.所有患者功能连接结果的估计误差(RMSE)。
图13、14显示了使用患者22(种子通道为20)的时间序列相关性生成的功能连接映射结果。首先，使用全谱EEG预测作为功能连接计算的输入（图13），然后使用EEG gamma频段作为输入进行分析（图14）。
图13.实验fNIRS和以全谱EEG作为输入预测静息态fNIRS之间的功能连接结果。
图14.实验fNIRS和以EEG gamma频段作为输入预测fNIRS静息态之间的功能连接结果。
讨论
深度学习模型避免了繁琐的特征工程过程，取而代之的是分层特征学习。本研究开发了一种深度学习的CNN-LSTM序列对序列自编码器来预测癫痫脑静息态EEG信号中的fNIRS信号。本研究模型分别使用60/20/20划分训练、测试和验证集。研究结果表明，在癫痫静息态记录的情况下，利用全谱EEG信号和特定频率范围的EEG信号都能在一定程度上预测fNIRS信号。为进一步验证本研究方法，研究者使用了预测的fNIRS重建大脑功能连接，并将其与使用实验fNIRS的功能连接进行了比较。
从神经生理学的角度来看，静息态癫痫脑处于动态状态，脑血流在不断流动。最近的研究表明，在发作间期存在异常的功能网络。因此，即使去除了系统生理成分，分子和细胞机制的潜在补偿也可能有助于预测除血液动力学脑活动外的系统生理学成分。本实验结果可能与以Mayer波频率（~0.1Hz）产生的已知生理现象有关，因为这些振荡反映了脑动脉血压的波动。这些振荡在滤波后持续存在，部分原因是它们与典型的血流动力学响应具有相同的光谱范围。另一方面，这些振荡对应于脑血管运动，可能与血管调谐振荡有关。
EEG信号中的这些细微特征被模型的结构部分(特别是卷积LSTM参数)编码并随后解码。该模型的编码器、解码器以及参数(如激活函数)可以增强静息态EEG数据的特征提取和fNIRS信号中相应的关联。此外，利用循环单元的输出或隐藏状态和模型计算的特征可以通过门控机制从LSTM模块中提取静息态EEG信号的长期依赖性（电或生理）。此外，当脑血流（CBF）变化时，皮层神经元的代谢和电活动都会发生变化，相应的EEG也会发生变化。
引起fNIRS反应的事件可分为阈下突触传导和阈上峰值活动。兴奋性和抑制性神经元通常在大脑中离得很近，它们同时活跃可能有助于血流动力学反应。较慢的EEG频率包络（即delta和theta）由第II-VI层的丘脑和皮层细胞产生。更快的频率（即beta和gamma）来自皮层第IV层和第V层的细胞。EEG记录中的电位变化与脑血流（CBF）密切相关，当正常CBF降至约25-35ml/100g/min时，EEG信号首先失去较快的频率，然后随着CBF降至大约17-18ml/100g/min，较慢的频率逐渐增加。本研究模型从理论上捕捉到了CBF和静息态癫痫脑中神经元活动之间的相互依赖关系。
与低频范围的EEG信号相比，高频范围的EEG信号重建fNIRS信号的误差更小。本研究结果证实，与其他EEG频率范围不同的是，基于EEG gamma频段的fNIRS重建显示，观察到的血流动力学反应与预测的血流动力学反应之间更接近。这可能是因为高频活动具有更多的神经元参与。大脑中的gamma节律提供了神经网络参与的迹象，并在几个皮层和皮层下结构中观察到。与其他刺激相比，这些节律通常在某些刺激下的活动更强，从而显示出对附近神经元活动的选择性。GABA能抑制神经元间的活动，被认为是产生EEG gamma频率活动的关键，并且可能通过与兴奋性神经元的相互作用而增加。然而，要充分解释这种活动的影响，就需要对其产生的细胞机制进行研究。
此外，本研究探索了癫痫患者大脑静息状态下的功能连接。实验静息态fNIRS数据和预测的fNIRS数据相互关联，揭示了种子点附近的相似连接，但指标会随着与种子距离的增加而下降。这可能是由许多因素造成的：噪声导致重建质量下降；感兴趣区域的gamma激活减少；模型参数无法完全学习信号中存在的细微差别。此外，头皮和头骨的系统伪影是静息态fNIRS信号的主要噪声源，这些伪影会导致重建不准确。利用短距离通道EEG-fNIRS实验装置，源和探测器之间的空间距离约1-2cm，可以充分降低噪声并提高信号灵敏度。重建指标和相应的功能连接网络指标随着信号质量和静息态持续时间的增加而更加稳定，从而减少了实验和预测时间序列之间的差异。
结论
本研究设计并实现了一个深度学习模型，根据癫痫患者队列中特定的静息态头皮EEG频率预测静息态血流动力学。这里使用的多维数据集使我们能够通过神经血管耦合研究大脑血流动力学和神经信号之间的关系。利用深度学习架构对每个EEG频率范围及其互补的fNIRS预测进行了全面分析；并进一步使用频率范围预测分析了大脑区域之间的功能连接。结果发现，较高的EEG频段可以更准确地预测血流动力学信号。
原文：Multimodal Autoencoder Predicts fNIRS Resting State From EEG Signals.
https://doi.org/10.1007/s12021-021-09538-3
小伙伴们点个“在看”，加
(星标)关注茗创科技，将第一时间收到精彩内容推送哦～
本研究介绍了一种深度学习架构，用于评估40名癫痫患者的多模态脑电图(EEG)和功能性近红外光谱(fNIRS)记录。长短期记忆网络和卷积神经网络集成在一个多模态序列到序列的自编码器中。训练后的神经网络通过从EEG全谱和特定EEG频段中分层提取深度特征，从EEG中无先验地预测fNIRS信号。结果表明，与其他频谱包络相比，更高频率的EEG范围可以预测fNIRS信号，其中gamma频段的输入主导fNIRS预测。基于种子的功能连接验证了实验性fNIRS和本研究模型的fNIRS重建之间的相似模式。本研究首次证明，在关于EEG频段如何解码fNIRS信号的特定假设背景下，基于频率振荡的功率谱振幅调制，可以从静息态人类癫痫脑中的编码神经数据(EEG)预测脑血流动力学(fNIRS)。
前言
功能性近红外光谱（fNIRS）是一种无创、便携且经济高效的神经成像技术，它使用近红外光持续监测大脑血流动力学参数（即氧合血红蛋白(HbO)、脱氧血红蛋白(HbR)和总血红蛋白(HbT)）的变化。fNIRS方法依赖于神经血管耦合现象，该现象描述了神经活动和脑血流之间密切的时空关系，以绘制大脑的急性功能变化。在典型的fNIRS装置中，与近红外光源相对应的光电器件及其附属探测器被放置在受试者的头部表面。从光源发出的红外光在进入大脑组织时被吸收或散射。使用修正的比尔-朗伯定律，检测到的光用于计算与大脑血流动力学活动相关的血氧变化。血红蛋白氧合浓度的变化可以量化大脑对红外光的吸收。
fNIRS方法作为其他功能成像技术(如fMRI)的替代或补充具有以下优点。与fMRI相比，fNIRS提供了更高的时间分辨率，并且fNIRS硬件可以与头皮脑电图（EEG）等其他模态集成。fNIRS信号最近已用于研究大脑状态解码，并在过去的十年中被证明可用于脑机接口(BCI)研究。
头皮EEG技术是研究人脑的临床黄金标准，EEG记录可分为特定频带：alpha，beta，delta，gamma和theta。Delta频率范围包括振幅相对较高的低频和0.25-3.0Hz的缓慢波形。Delta频率在正常睡眠中很常见，可能偶然出现在局灶性病变、代谢性脑病或脑积水中。Theta频率范围介于4到7Hz之间。虽然在年轻人中是正常的，但在醒着的成年人中，theta频率包络被解释为活动缓慢。与delta波一样，theta波可见于局灶性病变或弥漫性神经疾病中更广泛的分布。Alpha频率在8至13Hz之间，是清醒成人的主要节律。Beta活动的频率范围在14至30Hz之间，通常观察到双侧额叶对称分布。更高的频率范围(30-100Hz之间)用gamma波表示。Gamma活动比较常见，在快速眼动睡眠中会增强。
多模态EEG-fNIRS实验装置记录了大脑活动的时空动态，为观察神经集群的动态提供了机会，并为基础和临床分析提供了更多益处。在这种情况下，头皮EEG测量大脑的电活动，而fNIRS信号编码大脑的血流动力学响应，神经活动大约有3s的延迟。来自EEG-fNIRS装置的数据已经建立了神经元放电与HbO、HbR和HbT变化之间的因果关系，反映了神经血管耦合所导致的电和血流动力学波动。最近的兴趣集中在从EEG记录的活动中确定空间血流动力学相关性，特别是在血氧水平依赖信号(BOLD)中。静息态研究已成功证明，低频EEG频带信号(尤其是特低频gamma EEG频谱包络)与BOLD信号的调制呈负相关。
电生理学和脑血流动力学之间关系的表征在癫痫中具有临床意义。癫痫是大脑异常活动的反复发作，通常伴随阵发性的功能紊乱。引起癫痫发作的神经血管机制在正常功能的大脑中间歇存在，在某种程度上表明癫痫是一种动态障碍。静息态下的癫痫大脑显示自发的神经活动，这反映了其功能组织。每个组成部分（即神经和血管）的相互依赖性是更广泛的临床和神经科学界感兴趣的主题。功能磁共振成像研究表明，癫痫患者大脑中的静息态网络在其功能结构上发生了变化。越来越多的fMRI研究中的无任务静息态条件是基于这样的假设进行的：功能连接的大脑网络随着时间的推移表现出类似的活动特征。
静息态fMRI研究表明，癫痫患者的功能网络异常。临床前研究表明，静息态BOLD信号（~0.1Hz）的缓慢波动与gamma波段局部场电位神经元放电速率的缓慢波动之间存在相关性。这表明静息态与生理活动的动态神经元过程有关。利用fNIRS信号进行静息态功能连接已成为研究大脑功能的一种有前景的成像工具，并为研究人类癫痫脑内的内在网络提供了有价值的见解。本研究假设，可以使用深度学习架构从40名癫痫患者队列收集的静息态多模态EEG-fNIRS记录中预测脑血流动力学。此外，与低EEG频率包络相比，高EEG频率包络产生的功能连接模式增加。
方法
被试和流程
招募了40例难治性局灶性癫痫患者（男性27例，女性13例；年龄在11至62岁之间；平均年龄=32.42岁，标准差=13.97岁）进行长时间的EEG-fNIRS记录。癫痫诊断和癫痫灶定位是基于综合评估，包括临床病史、发作间期棘波和癫痫发作的视频EEG记录、磁共振成像(MRI)、正电子发射断层扫描(PET)以及部分患者的单光子发射计算机断层扫描(SPECT)和脑磁图(MEG)扫描。
EEG-fNIRS数据采集和预处理
连续EEG-fNIRS记录在加拿大蒙特利尔圣贾斯汀医院光学成像实验室进行。实验方案确保在数据采集过程中，环境噪音和灯光保持在最低限度，以使患者感到舒适。进一步指导患者保持冷静，并将其安置在舒适、气候可控的房间内，拉上窗帘以限制环境光线。训练有素的临床工作人员对患者进行持续远程监测。使用Imagent组织血氧仪系统收集fNIRS数据，该系统是一种多通道频域系统，记录频率为19.5Hz，波长为690nm和830nm，分别对HbR和HbO敏感。根据标准10-20系统，使用19个电极位置（Fp1、Fp2、F7、F3、Fz、F4、F8、T7、C3、Cz、C4、T8、P7、P3、Pz、P4、P8、O1、O2），在500 Hz时记录EEG数据(Neuroscan Synamps 2TM系统)。使用定制头盔，考虑到不同的头部尺寸和形状，以便于舒适贴合。头盔总共配备了64个光源、16个光探测器和19个EEG电极，以保证皮层区域和头皮之间的稳定光耦合。这在很大程度上进一步防止了光极偏移和运动伪影。近红外光对皮层组织的敏感度是通过将光电器件放置在相距约3-4cm的位置来保持的。电极按照10-20 EEG仪器标准放置，使头部完全覆盖。图1显示了放置在患者头部的EEG-fNIRS头盔。
图1.用于EEG和fNIRS数据采集的多模态EEG-fNIRS头盔。
EEG数据在0.1-100Hz之间进行带通滤波，以去除仪器噪声和与生理活动相关的漂移，尤其是高频漂移。对HbO和HbR信号未经处理的原始时间序列进行带通滤波，以去除心脏（约1Hz）或呼吸活动（约0.2-0.3Hz）的特定频率成分。在分析之前，通过对信号强度的通道验证检查信号保真度。将带通滤波应用于EEG数据，以计算感兴趣的频段。使用FIR带通滤波器，delta、theta、alpha、beta和gamma频率的低截和高截值(Hz)分别设置为：[1，4]，[4，8]，[8，12]，[12，30]，[30，100]。用于通道分析的信噪比(SNR)阈值定义为小于所有通道平均信噪比30%的通道。剔除具有SNR的fNIRS通道，不纳入后续的分析中。这导致每个患者平均有138个通道。通过HomER和MNE软件包计算HbO和HbR的变化。
进行了多次连续的记录，每次记录约15分钟，共有200次记录，总记录时间为50小时。对静息态数据进行0.01-0.1Hz频率范围的带通滤波。静息态时间（取自患者舒适休息时）在7-10分钟之间，平均为8.35分钟。为了校正运动，本研究通过对EEG-fNIRS数据进行主成分分析，并去除方差最大的成分。此外，应用伪迹拒绝（与归一化强度相差10%）来去除额外的运动伪迹。然后以0.2Hz的截止频率滤除呼吸和心脏信号的影响。最后，使用修正的比尔-朗伯定律计算每个通道的HbO浓度。
利用神经导航技术(Brainsight, RogueResearch Inc.)对光极和电极位置进行结构MRI配准。通道位置与患者MRI相互参照，并进行调整，以确保癫痫病灶、对侧同源区域以及其他脑区的覆盖范围。MRI被分为六层：空气层、头皮层、颅骨层、脑脊液层、灰质层和白质层。灰质层用于提取六个二维皮层投影。每个通道的三维位置投影到这些二维地形图上，其中考虑了以下视图：背视图、前视图、左视图和右视图。
神经网络结构
本研究构建了一个深度序列到序列的多模态自编码器，从输入的头皮EEG信号中预测fNIRS信号。自编码器是一种强大的机器学习模型，以自监督的方式训练，通过学习其抽象表征来重建输入。该自编码器将信号嵌入低维潜在空间，其中编码器和解码器都用深度神经网络表示。
由于循环神经网络(RNN)能够描述数据的时间状态，因此在时间序列建模中得到了广泛的应用。输出取决于隐藏单元中的隐藏状态和反馈连接。在本研究模型中，使用了时间反向传播，这是一种常见的梯度下降式训练技术。基于RNN梯度训练的固有问题是，通过循环连接传播的导数要么变得非常小，要么变得非常大，分别导致梯度消失或爆炸。长短期记忆单元（LSTM）是普通RNN体系结构的变体，它克服了梯度消失的问题。LSTM单元接收外部输入，通过输入、输出、遗忘门和记忆单元生成隐藏输出。门和存储单元用加权链接进行内部连接。这些门与外部源相连接，这些源是当前状态的顺序输入和先前的隐藏状态。这样可以防止LSTM存储无用或有噪声的输入信息。
Srivastava等人(2015)提出的LSTM自编码器模型（LSTM-AE），由编码器LSTM单元和解码器LSTM单元组成。编码器LSTM接收输入序列，并在LSTM生成隐藏输出时将其编码为特征向量。同样，解码器LSTM接收特征向量并将其解码为原始输入序列。LSTM-AEs学习序列数据的压缩表示，并已用于视频、文本、音频和时序序列数据。本研究结合了多个LSTM层来学习时间表示。本研究模型还包括卷积层，用于从通道组合中提取高层空间感知。这里的输入考虑血流动力学延迟的EEG序列数据，以执行序列到序列的编码。这些输入的EEG序列由两个卷积神经网络(CNN)卷积，然后输入到前两个编码长短期记忆(LSTM)模块。EEG数据样本通过固定长度的向量投影到潜在空间中，提供更多的压缩表示，然后由LSTM解码模块用于解码和重建输出的fNIRS数据。
在对多个体系结构进行了详尽的超参数优化测试后，将模型设计为：编码器由LSTM层和卷积块组成。每个块中的卷积的核大小为（1，7），步长为（1，2）。解码器由LSTM层组成，该层对潜在空间中的向量进行操作，以提供与fNIRS样本相同的最终输出维数。根据跨模态重建误差(RE)对模型进行了评估。目标是同时最小化fNIRS数据样本之间的距离，并最大化每个fNIRS和EEG数据点之间的距离（即最小化RE等价于最大化似然函数）。一旦对模型进行了训练，通过计算所有L维上xt与其相应的重建
之间的欧氏距离之和，在一个独立的测试子集上计算相应的RE，如公式1所示：
模型输出表示为
EEG数据处理如下。首先，从数据目录中解析匹配的EEG和fNIRS数据，然后根据静息态周期标记相应的数据(EEG或fNIRS)。使用MinMaxScaler类对EEG输入数据进行特征缩放，将该类值的范围设置在0到1之间。输入信号在输入模型之前以均值为中心。然后，将数据馈入卷积层，并传输到LSTM和反卷积模块。模型的详细示意图如图2所示。
图2.使用患者特定序列到序列的LSTM自编码器模型进行多模态EEG到fNIRS的重建。
训练细节
该模型以患者特定的EEG信号作为输入来解码fNIRS信号。对于每个患者，数据被随机分为训练、验证和测试子集，比例分别为60%、20%和20%。对不同的模型深度进行实验，确定了深度LSTMs的性能优于浅层LSTMs。这可能是由于层数增加导致隐藏状态变大所致。完整的训练细节如下。
①使用0~1之间的均匀分布来初始化LSTMs的参数。这样做是为了抵消LSTMs固有的梯度爆炸问题，从而对0到1之间的梯度范数施加硬约束。同时，通过准备一个包含输入EEG数据和目标标签的馈入字典来指定LSTM计算的起始节点值。值得注意的是，LSTM可以学习如何将输入序列映射为特定于患者的模型训练到固定维度的向量表示，并且可以学习时间依赖性。
②通过时间反向传播，学习率为0.05，批大小为60和训练周期为50，所有这些都是启发式确定的。
③每个fNIRS信号生成对应于一个EEG序列输入。EEG序列中的一个元素对应于1秒的记录，每个EEG通道有500个时间点(采样率为500Hz)。通过使用Keras框架中用于批生成的实用程序类，生成用于序列处理的数据批次。简单地说，该类使用一系列数据点作为输入，以生成用于训练和验证的批次。输出序列中不使用静息态周期开始和结束之外的数据点。最终作为输入的EEG数据是二维的，即[数据点，通道]。
结果
全谱EEG性能与特征分析
模型中输入所有通道的静息态全谱EEG信号。为了从编码的EEG通道中解码fNIRS通道，该模型的解码器层使用编码器的潜在状态作为通过LSTM单元传输的数据输入。图4量化了以全谱EEG信号作为输入的个别患者的表现。图5提供了所有患者头皮全谱EEG记录的重建误差的组估计值。
图4.从脑电活动解码预测血流动力学信号。
图5.全谱EEG到fNIRS的重建。使用来自所有通道的全谱EEG信号的组估计作为输入，重建所有fNIRS通道的全谱fNIRS信号。
单独记录Session的患者内重建
这里报告了以EEG静息态作为输入的患者内fNIRS重建结果。具体来说，假设本研究模型在使用患者的单一记录进行训练时，能够从后续记录中重建fNIRS信号。为了检验模型的预测能力并交叉验证该模型，首先对患者的单个记录进行网络训练。接下来，使用训练过的网络，从同一患者的后续记录中重建fNIRS信号。数据以60/20/20的方式划分为训练、测试和验证子集。这是针对所有患者和记录的所有数据进行的。图6显示了患者内fNIRS信号重建的结果，图7显示了患者10的通道5在记录1、3、4之间的fNIRS重建结果。
图6.患者内fNIRS重建的结果。
图7.从患者内的脑电活动预测血流动力学信号。黑色和红色曲线分别对应实验信号和重建信号。
重建的空间变异性
然后，本研究考察了模型预测对头部通道位置的灵敏度。该模型的地形鲁棒性表明，预测在整个大脑中是相当稳定的。如果通道位置能够在源/探测器蒙太奇的约束下覆盖大部分大脑，并且信号保真度达到“EEG-fNIRS数据采集和预处理”部分所示的可接受水平，则选择通道位置。图8显示了该模型对患者10的空间预测。
图8.患者10的fNIRS空间重建。
EEG频率分解与静息态预测
在模型训练和验证后，本研究计算了EEG频段，即：delta [0.5-3Hz]、theta[4-7Hz]、alpha[8-13Hz]、beta[14-30Hz]和gamma[30-100Hz]。为了确保在相应的频率范围内存在合适的功率，使用Welch功率谱密度函数获得EEG信号的功率谱。Welch方法优于其他方法（即标准周期图谱估计和Bartlett方法），因为Welch方法通过降低估计功率谱中的信号噪声来抵消降低的频率分辨率。Welch方法将信号划分为重叠段，从而减少边缘数据的丢失。然后对重叠的数据段进行时域加窗。随后的计算包括离散傅里叶变换，以及对周期图进行平均，得到最终的nxm阵列，该阵列通过频率箱表示功率测量值。所有计算（包括傅里叶分解、Welch功率谱密度）均使用MNE软件包进行。图9显示了根据患者10（fNIRS通道10）输入的EEG频率范围进行的模型预测。
图9.给定EEG频率范围输入的静息态fNIRS预测(患者10，fNIRS通道10)。
本研究计算了每个EEG频率范围的解码fNIRS重建误差指标，并计算了患者的重建误差，如图10所示。gamma和beta频段的错误率最低，而在较低的EEG频率范围内，可以观察到fNIRS重建误差增加，可能是因为本研究模型可能无法学习适当的特征来重建fNIRS信号。
图10.所有患者、所有通道的特定EEG频率范围的fNIRS重建误差。
为了进一步确定哪个EEG频段能够以最小平均重建误差来重建fNIRS信号，研究者计算了所有患者的频段重建误差，如图11所示。随后进行了单尾配对t检验，以检验以下组合中的重建误差是否存在统计差异：[delta，gamma]，[theta，gamma]，[alpha，gamma]和[beta，gamma]。然后应用Bonferroni校正将FWER控制在0.05以下。与其他频段相比，gamma频段重建fNIRS信号的平均保真度更高。
图11.特定EEG频率范围内的平均fNIRS重建误差。与其他频段相比，gamma频段具有更高的保真度和最低的重建误差。
功能连接结果
本研究计算了实验fNIRS和模型fNIRS重建的功能连接映射。比较了所有患者的实验fNIRS与来自全谱EEG和EEG gamma频段的fNIRS重建信号。使用均方根误差作为功能连接研究中的误差估计量。在组水平上可以观察到，与来自gamma频段的实验fNIRS和fNIRS重建相比，从全谱EEG得出的实验fNIRS与fNIRS重建之间的功能连接分析误差更小，如图12所示。
图12.所有患者功能连接结果的估计误差(RMSE)。
图13、14显示了使用患者22(种子通道为20)的时间序列相关性生成的功能连接映射结果。首先，使用全谱EEG预测作为功能连接计算的输入（图13），然后使用EEG gamma频段作为输入进行分析（图14）。
图13.实验fNIRS和以全谱EEG作为输入预测静息态fNIRS之间的功能连接结果。
图14.实验fNIRS和以EEG gamma频段作为输入预测fNIRS静息态之间的功能连接结果。
讨论
深度学习模型避免了繁琐的特征工程过程，取而代之的是分层特征学习。本研究开发了一种深度学习的CNN-LSTM序列对序列自编码器来预测癫痫脑静息态EEG信号中的fNIRS信号。本研究模型分别使用60/20/20划分训练、测试和验证集。研究结果表明，在癫痫静息态记录的情况下，利用全谱EEG信号和特定频率范围的EEG信号都能在一定程度上预测fNIRS信号。为进一步验证本研究方法，研究者使用了预测的fNIRS重建大脑功能连接，并将其与使用实验fNIRS的功能连接进行了比较。
从神经生理学的角度来看，静息态癫痫脑处于动态状态，脑血流在不断流动。最近的研究表明，在发作间期存在异常的功能网络。因此，即使去除了系统生理成分，分子和细胞机制的潜在补偿也可能有助于预测除血液动力学脑活动外的系统生理学成分。本实验结果可能与以Mayer波频率（~0.1Hz）产生的已知生理现象有关，因为这些振荡反映了脑动脉血压的波动。这些振荡在滤波后持续存在，部分原因是它们与典型的血流动力学响应具有相同的光谱范围。另一方面，这些振荡对应于脑血管运动，可能与血管调谐振荡有关。
EEG信号中的这些细微特征被模型的结构部分(特别是卷积LSTM参数)编码并随后解码。该模型的编码器、解码器以及参数(如激活函数)可以增强静息态EEG数据的特征提取和fNIRS信号中相应的关联。此外，利用循环单元的输出或隐藏状态和模型计算的特征可以通过门控机制从LSTM模块中提取静息态EEG信号的长期依赖性（电或生理）。此外，当脑血流（CBF）变化时，皮层神经元的代谢和电活动都会发生变化，相应的EEG也会发生变化。
引起fNIRS反应的事件可分为阈下突触传导和阈上峰值活动。兴奋性和抑制性神经元通常在大脑中离得很近，它们同时活跃可能有助于血流动力学反应。较慢的EEG频率包络（即delta和theta）由第II-VI层的丘脑和皮层细胞产生。更快的频率（即beta和gamma）来自皮层第IV层和第V层的细胞。EEG记录中的电位变化与脑血流（CBF）密切相关，当正常CBF降至约25-35ml/100g/min时，EEG信号首先失去较快的频率，然后随着CBF降至大约17-18ml/100g/min，较慢的频率逐渐增加。本研究模型从理论上捕捉到了CBF和静息态癫痫脑中神经元活动之间的相互依赖关系。
与低频范围的EEG信号相比，高频范围的EEG信号重建fNIRS信号的误差更小。本研究结果证实，与其他EEG频率范围不同的是，基于EEG gamma频段的fNIRS重建显示，观察到的血流动力学反应与预测的血流动力学反应之间更接近。这可能是因为高频活动具有更多的神经元参与。大脑中的gamma节律提供了神经网络参与的迹象，并在几个皮层和皮层下结构中观察到。与其他刺激相比，这些节律通常在某些刺激下的活动更强，从而显示出对附近神经元活动的选择性。GABA能抑制神经元间的活动，被认为是产生EEG gamma频率活动的关键，并且可能通过与兴奋性神经元的相互作用而增加。然而，要充分解释这种活动的影响，就需要对其产生的细胞机制进行研究。
此外，本研究探索了癫痫患者大脑静息状态下的功能连接。实验静息态fNIRS数据和预测的fNIRS数据相互关联，揭示了种子点附近的相似连接，但指标会随着与种子距离的增加而下降。这可能是由许多因素造成的：噪声导致重建质量下降；感兴趣区域的gamma激活减少；模型参数无法完全学习信号中存在的细微差别。此外，头皮和头骨的系统伪影是静息态fNIRS信号的主要噪声源，这些伪影会导致重建不准确。利用短距离通道EEG-fNIRS实验装置，源和探测器之间的空间距离约1-2cm，可以充分降低噪声并提高信号灵敏度。重建指标和相应的功能连接网络指标随着信号质量和静息态持续时间的增加而更加稳定，从而减少了实验和预测时间序列之间的差异。
结论
本研究设计并实现了一个深度学习模型，根据癫痫患者队列中特定的静息态头皮EEG频率预测静息态血流动力学。这里使用的多维数据集使我们能够通过神经血管耦合研究大脑血流动力学和神经信号之间的关系。利用深度学习架构对每个EEG频率范围及其互补的fNIRS预测进行了全面分析；并进一步使用频率范围预测分析了大脑区域之间的功能连接。结果发现，较高的EEG频段可以更准确地预测血流动力学信号。
原文：Multimodal Autoencoder Predicts fNIRS Resting State From EEG Signals.
https://doi.org/10.1007/s12021-021-09538-3
小伙伴们点个“在看”，加
(星标)关注茗创科技，将第一时间收到精彩内容推送哦～
