一维信号掀桌了，心电图都能生成 CMR 了(○´･д･)ﾉ

---

论文：Generating Cardiac Magnetic Resonance Images from Electrocardiograms — A Multicenter Study
代码：https://github.com/Yukui-1999/ECG-CMR

---

0、摘要

背景

  心血管疾病（CVD）需早期、准确诊断以改善预后。心脏磁共振（CMR）成像可提供金标准的功能与结构信息，但受限于可及性与操作复杂性。心电图（ECG）应用广泛，却在精细度上不及 CMR。本文提出 CardioNets —— 一种将 12 导联 ECG 转换为与 CMR 对齐的功能参数及合成图像的深度学习框架，以实现可扩展、低成本的心脏评估。

方法

  CardioNets 通过跨模态对比学习将 ECG 与 CMR 衍生的潜在表征对齐，再利用掩码自回归建模由 ECG 生成 CMR 图像。研究纳入英国生物样本库（UKB）、重症监护医疗信息库（MIMIC）IV ECG 数据库及两个外部临床数据集共 159,819 例样本（还得大样本啊），用于模型开发与评估。

  以仅用 ECG 和基于 CMR 的基线模型为对照，评估心脏测量值回归分析与疾病检测性能（下游任务评估）；将合成 CMR 图像质量与当前最优方法比较（工程模型对比）；并开展阅片者研究，将 CardioNets 与临床医师（使用心电图及临床采集的 CMR 图像）进行了对比（与人比较）。

结果

  在 UKB 数据集中，CardioNets 的心脏测量值回归分析性能（R²=0.310；95% CI，0.304–0.315）优于最优 ECG 基线（R²=0.269；95% CI，0.265–0.272；P<0.0001）。在心肌病检测中，CardioNets 的受试者工作特征曲线下面积（AUROC）为 0.890（95% CI，0.836–0.944），优于最优 ECG 基线（AUROC=0.867；95% CI，0.812–0.921；P<0.01），且与基于 CMR 的模型性能相当（AUROC=0.906；95% CI，0.890–0.922；P=0.514）。

  在 MIMIC-IV 肺动脉高压检测中，CardioNets（AUROC=0.879；95% CI，0.853–0.903）优于最优 ECG 基线（AUROC=0.853；95% CI，0.824–0.881；P<0.001）。CardioNets 合成 CMR 图像的 结构相似性指数（SSIM） 为 0.205（95% CI，0.202–0.208）（CMR 的 SSIM 似乎都不高的样子），优于当前最优方法（0.122；95% CI，0.120–0.125；P<0.0001）。阅片者研究中，CardioNets 准确率为 0.874（95% CI，0.800–0.923），优于参与阅片的医师。

结论

  CardioNets 可将心电图转化为心脏磁共振级的诊断信息，提升 CVD 检测性能，并具备规模化推广应用的潜力。仍需开展前瞻性研究验证其临床落地价值。（常规局限）

---

1、引言

（1）研究意义：
  心血管疾病（CVD）负担沉重，早期精准诊断对改善预后至关重要。心电图（ECG） 虽普及、低成本，却主要反映心电活动，无法全面评估心脏结构与功能；心脏磁共振（CMR） 是提供功能与组织特征的金标准，但受限于高昂成本、操作复杂性和可及性。因此，亟需利用广泛可及的 ECG 挖掘出 CMR 级别的结构信息，为资源有限地区的大规模心血管筛查提供可行路径。

（2）当前局限：
  传统 ECG 模型在鉴别罕见心肌病亚型（如限制型心肌病）时泛化能力不足，且不同算法对心电-结构关联的解读标准不统一，缺乏低成本、高精度且兼具可解释性的预筛查工具。

（3）前沿技术：
  大规模多模态医学数据集（UKB、MIMIC）与深度学习的突破为模态融合带来契机。跨模态对比学习（如 CLIP ）可对齐异质数据表征，掩码自回归与扩散模型等生成式 AI 已能合成高保真医学图像，为强化弱模态（ECG）、实现从电信号到结构图像的跨域转换提供了坚实的技术基础。

（4）本文贡献：
  本文提出 CardioNets 框架，通过加权对比学习对齐 ECG 与 CMR 表征，并以 ECG 为条件通过掩码自回归生成动态 CMR 序列。（ 图 1 ）该模型仅凭 ECG 即可实现 CMR 级别的测量回归与心肌病检测（AUROC 达 0.890，媲美 CMR 模型），生成的图像提升了临床可解释性；经 UKB、MIMIC 及中美多中心外部验证，并在读者试验中辅助诊断准确率（0.874）优于参与医师，为 CVD 的大规模可及性筛查提供了高效的 AI 解决方案。
  
Figure 1 | 研究设计概述：
阶段一：CardioNets 模型开发。本研究基于 UKB 数据集训练 CardioNets 的两大核心模块：(1) 采用心电图 - 心脏磁共振（ECG–CMR）对比学习训练的 ECG 模型，用于提取 CMR 相关特征信息；(2) 以 ECG 为条件、基于掩码自回归模型训练的 CMR 生成模型。

阶段二：下游任务。所用数据集包括 UKB、MIMIC-IV-ECG、浙江大学医学院附属第一医院（FAHZU）与浙江大学医学院附属第二医院（SAHZU）。图中标注的所有数字均代表数据集总样本量。全部任务仅使用 ECG 数据验证模型性能，包括心脏测量指标预测（A 子图）、心血管疾病（尤其是心肌病）检测（B 子图）、ECG–CMR 对齐的可解释性研究与 CMR 生成效果评估（C 子图），以及心肌病检测的阅片者研究（D 子图）。

---

2、方法

2.1、模型开发与评估数据集

  图 2 展示了模型开发与评估的整体方案，补充附录 1 的表 S1–S3 汇总了各数据集分布情况。本研究总共纳入来自英国生物样本库（UKB）、MIMIC 数据库以及两个外部临床数据集的 159819 例样本，用于模型开发与评估。模型预训练采用 UKB 中的 42483 组心电图 - 心脏磁共振（四腔长轴电影序列）配对数据，所有样本均采集于首次影像检查随访。该心电图 - 心脏磁共振配对数据用于两个阶段任务：ECG–CMR 表征的对比对齐，以及基于 ECG 条件的心脏电影磁共振生成模型训练。除非另行说明，下游分析均基于经 ECG–CMR 对比表征对齐得到的心电图编码器进行微调后开展。

  本研究的下游分析在英国生物样本库（UKB）、MIMIC-IV-ECG 数据库，以及两家医院的私有数据集上开展模型性能评估，两家医院分别为浙江大学医学院附属第一医院（FAHZU）与附属第二医院（SAHZU）。

  在 UKB 数据集内，测量指标回归任务选取原始 42483 组 ECG-CMR 配对样本中的 28542 名受试者子集，所有受试者均具备完整的心电图、心脏磁共振及 82 项心脏指标数据（补充附录 1，表 S4）；CVD 检测任务包含冠心病（CAD）样本 $n=2289$、心力衰竭样本 $n=234$、心肌病样本 $n=81$，阴性样本按 $1:1$、$1:2$、$1:5$、$1:10$ 多种比例抽取。诊断标签与确诊日期取自 UKB 住院病历。考虑到慢性心血管疾病进展缓慢、病情相对稳定，本研究仅保留影像检查当日及之前的诊断记录，保证标签与输入数据在时间维度匹配。 研究采用五折交叉验证，报告各折性能指标的均值 ± 标准差。

  在 MIMIC-IV-ECG 数据集中，本研究构建了冠心病（CAD，$n=11830$）、心力衰竭（$n=7167$）、心肌病（$n=1262$）与肺动脉高压（$n=1788$）数据集，阴性对照样本的抽样比例与 UKB 数据集保持一致。疾病标签取自人工整理的 MIMIC-IV-ECG-Ext-ICD 扩展数据集。本研究采用 60:20:20 的训练集 - 验证集 - 测试集划分 方式，在独立预留的测试集上报告实验结果。由于 MIMIC 数据库不包含心脏磁共振（CMR）影像，因此未开展 CMR 相关分析。

  针对 FAHZU： 数据集 1（仅心电图） 纳入扩张型心肌病（DCM，$n=1705$）、肥厚型心肌病（HCM，$n=915$）、限制型心肌病（RCM，$n=162$）样本，用于三分类心肌病识别任务，并采用五折交叉验证；数据集 2（仅心电图） 包含 222 例心肌病患者与 188 例对照，用于外部验证；数据集 3（ECG-CMR 配对数据） 包含 77 例心肌病患者与 34 例对照，用于阅片者研究。SAHZU 数据集 包含 264 例心肌病患者与 200 例对照，用于外部验证。
  
Figure 2 | 多数据集下的整体研究流程： 本流程图展示：基于英国生物样本库（UKB）的心电图 - 心脏磁共振（ECG–CMR）配对数据开展模型预训练；在 UKB 与 MIMIC 数据集上完成心脏测量指标回归、心血管疾病检测；于浙大一院（FAHZU）、浙大二院（SAHZU）队列进行外部验证，并开展阅片者研究。数据集详细特征、样本量与排除标准见方法部分。实线箭头代表数据筛选与构建；虚线箭头代表模型训练与调用；空心箭头指代下游任务。蓝色方框为公开数据集，黄色方框为私有数据集。

2.2、数据处理与增强

  ECG 的预处理与数据增强方法参照已有研究开展。简言之，将心电图 重采样 至 250 Hz，采用 带通滤波器（0.67–40 Hz）滤波以抑制基线漂移与高频噪声，在输入模型前做 标准化处理。模型训练阶段采用 随机裁剪；验证与测试阶段，为保证结果稳定性，使用固定多裁剪策略进行评估。心脏电影磁共振（Cine CMR）图像归一化至区间 (-1,1)，不施加几何或空间类数据增强。

2.3、心脏磁共振自监督学习方法

  为获取鲁棒的 CMR 表征（ 图 3A ），本研究采用团队前期研究构建的 掩码自监督预训练 CMR 编码器，该编码器融合测量引导的生成式增强策略，用以提升数据多样性与训练规模。在后续 ECG–CMR 对比学习训练中，该编码器作为固定的语义骨干网络使用；由此可得到具备临床意义的 CMR 表征，且本研究无需对心电图编码器与 CMR 编码器进行联合优化。更多细节参见补充附录 1。

2.4、ECG–CMR 对比预训练

  基于预训练（冻结）的 CMR 编码器，本研究通过 对比学习 将 ECG 与 CMR 表征对齐至同一共享隐空间（ 图 3B ）。标准 InfoNCE（噪声对比估计）存在假阴性问题：临床特征相近的样本可能被视作强负样本。为缓解该问题，本文 采用加权 InfoNCE 目标函数，对在冻结 CMR 编码器所得 CMR 语义空间中距离较近的负样本施加降权处理。

  具体而言，利用冻结的 CMR 编码器从首个 token 提取逐样本嵌入特征 $h\in {\mathbb{R}}^{768}$。随后通过主成分分析（PCA）将该嵌入降维至 $\varphi \in {\mathbb{R}}^{128}$，作为编码 CMR 语义的连续伪测量量。

  对于 ECG 嵌入 $z_e$ 与 CMR 嵌入 $z_c$，其余弦相似度计算为 $s_{ik}=\cos (z_{e,i},z_{c,k})$。基于 CMR-PCA 空间中的成对距离构建权重矩阵 $W\in {\mathbb{R}}^{B\times B}$：
$$W_{ik}=1-\exp \left(-\frac{\Vert {\varphi }_i-{\varphi }_k{\Vert }_2^2}{{\sigma }^2}\right),W_{ii}=0.\text{\hspace{1em}(1)}$$单向加权 InfoNCE 损失函数定义为：
$${\mathcal{L}}_{e\to c}=-\frac{1}{B}\sum _{i=1}^B\log \frac{\exp \left(s_{ii}/\tau \right)}{\exp \left(s_{ii}/\tau \right)+{\sum }_{k\ne i}{W}_{ik}\exp \left(s_{ik}/\tau \right)},\text{\hspace{1em}(2)}$$总目标函数为：
$$\mathcal{L}=\frac{1}{2}\left({\mathcal{L}}_{e\to c}+{\mathcal{L}}_{c\to e}\right).\text{\hspace{1em}(3)}$$

2.5、ECG2CMR 生成模型

  与 Stable Diffusion 类似，本模型在压缩隐空间中生成心脏电影磁共振（cine CMR）序列。研究采用三维变分自编码器，通过空间与时间下采样，将长轴心脏电影磁共振图像编码为低维时空隐表征。

  针对心电图到心脏磁共振的生成任务，本研究基于掩码自回归模型构建网络，该模型为双向注意力 Transformer，采用动态掩码策略与基于扩散的去噪目标进行训练。经对齐后的心电图编码器所提取的心电图特征作为条件 token 置于序列前端（ 图 3C ），借助迭代解码实现心电图引导的图像合成；在余弦掩码策略下，迭代预测并优化掩码 token，直至生成完整的心脏电影磁共振序列。完整数学公式与实现细节见补充附录 1。

  为评估合成 CMR 图像的质量与保真度，本研究将 CardioNets 与基于自编码器、基于扩散的基线生成模型进行对比。利用预训练 CMR 编码器输出的隐嵌入评估特征层面分布对齐效果（采用 $t$ 分布随机邻域嵌入 [t‑SNE] 可视化，并通过累积分布函数 [CDF] 曲线与直方图开展对比）；采用结构相似性指数（SSIM）与峰值信噪比（PSNR）评估图像层面重建质量；同时使用平均绝对误差（MAE）与均方根误差（RMSE）评估像素层面误差。

  
Figure 3 | 模型结构图：
子图 A 为 CMR 自监督模型，该模型采用掩码自监督学习，以最小化重建损失为优化目标。为丰富预训练过程，本研究引入测量指标引导的 CMR 生成方法，通过真实图像与生成图像混合扩充数据集，使模型学习鲁棒性更强的 CMR 表征。
子图 B 为 ECG–CMR 对比学习，固定子图 A 中 CMR 自监督模型的参数，以最小化加权对比损失为优化目标；其中 $w_{ij}$ 代表基于测量指标的权重，$s_{ij}$ 代表嵌入特征间的余弦相似度。
子图 C 为心电图引导的 CMR 图像生成，以子图 B 中预训练的心电图编码器作为特征提取器。
子图 D 为对对齐后的心电图编码器进行微调，使其适配各类下游任务，并利用子图 C 中的预训练生成模型生成对应的 CMR 图像。

2.6、下游任务

  在下游任务中，本研究仅使用 ECG–CMR 对比预训练得到的心电图编码器（不使用 CMR 编码器； 图 3D ），用于预测 CVD 标签以完成分类任务，并预测 82 项由 CMR 得到的心脏测量指标以完成回归任务；同时利用预训练生成模型合成心脏电影磁共振图像，供临床判读。本研究将 CardioNets 与采用相同心电图网络结构的基线模型进行对比，基线包括：自监督学习（SSL）心电图模型、测量指标监督心电图模型（在英国生物样本库 UKB 上针对 82 项指标回归任务预训练，再针对下游任务微调）、从零开始训练的全监督模型，以及在拥有 CMR 数据时使用的 CMR 参考模型。更多细节见补充附录 1。

  为评估真实场景下的临床应用价值，本研究基于 FAHZU 数据集 3 开展阅片者研究，共纳入 6 名心内科医师（2 名住院医师、2 名主治医师、2 名副主任医师）。研究采用两阶段设计并设置 1 个月洗脱期：医师首先单独判读心电图；随后对随机混合数据集进行二次评估，每个病例展示两次，一组为心电图联合临床采集的 CMR 图像，另一组为同一份心电图联合 AI 合成的 CMR 图像；电子病历（EHR）出院诊断作为金标准。

2.7、定量评估与统计分析

  对于分类任务，本文报告受试者工作特征曲线下面积（AUROC）、准确率、灵敏度、特异度、阳性预测值与阴性预测值。针对三分类任务，采用 一对其余（OvR） 二值化方法计算模型性能。回归任务采用决定系数 $R^2$、皮尔逊相关系数、平均绝对误差（MAE）与均方根误差（RMSE）作为评价指标。五折交叉验证实验中，报告各折结果的 均值 $\pm$ 标准差。

---

3、实验结果

3.1、心脏功能评估

  
Figure 4 | 心血管状态的综合评估与标签利用效率：
A 子图 在 UKB 数据集上评估冠心病（CAD）、心肌病（CM）、心力衰竭（HF）的分类 AUROC 指标，以及心脏结构测量指标的平均 $R^2$ 值。本研究将 CardioNets 与 四类模型 进行对比：从零训练的心电图模型、基于自监督学习编码器微调的心电图模型、在心脏测量回归任务上预训练的测量监督心电图模型，以及基于自监督预训练编码器构建的 CMR 模型。误差棒代表五折交叉验证得到的标准差。

B 子图 展示 MIMIC 数据集中心血管疾病（CVD，含冠心病、心肌病、心力衰竭、肺动脉高压）的检测结果，以及在浙江大学医学院附属第一医院（FAHZU）、附属第二医院（SAHZU）数据集上心肌病检测的外部验证结果。由于 MIMIC 数据集与私有数据集缺少对应的心脏磁共振图像，本研究仅将 CardioNets 与基于心电图的模型对比。误差棒采用 1000 次重采样的自助法计算，用于估计 95% 置信区间。A、B 子图中 $n$ 均代表测试集样本量。

C 子图 通过测试模型在不同训练数据占比下的性能，分析标签利用效率，以此明确达到目标性能水平所需的数据样本量。该实验在 MIMIC 数据集上开展，分别采用全部训练数据的 10%、25%、50%、75% 和 100% 进行模型训练。误差棒采用与 B 子图相同的自助法（1000 次重采样，95% 置信区间）计算，曲线周围阴影区域代表置信区间。

3.2、心肌病亚型的检测

  
Figure 5 | 浙江大学医学院附属第一医院（FAHZU）三种心肌病亚型的分类结果： 本研究将 CardioNets 与 3 种基于心电图（ECG）的基线模型（自监督学习心电图模型 SSL ECG、测量监督心电图模型 measurement-supervised ECG、从零训练心电图模型 scratch ECG）进行对比，用于鉴别限制性心肌病（RCM）、扩张型心肌病（DCM）与肥厚型心肌病（HCM）。图中上方子图采用一对其余策略，给出各亚型的 AUROC；下方子图为全部方法在三分类任务上的混淆矩阵。

3.3、CMR 生成技术的解析研究与评估

  
Figure 6 | 心脏磁共振可解释性热力图与生成心脏磁共振图像质量评估：
A 子图 展示 CardioNets、SSL ECG、Meas-Supervised ECG 以及 scratch ECG 模型的余弦相似度热力图。CardioNets 对心脏磁共振图像的心脏区域赋予更高关注度。
B 子图 对比特征一致性及配对定量指标（SSIM、PSNR、MAE、RMSE），误差棒代表 CardioNets 生成图像与临床采集心脏磁共振图像之间的 95% 置信区间。
C 子图 针对左心室心肌质量偏高与偏低病例，对比 CardioNets、Vgen 与 Cross-AE 生成的心脏磁共振图像。

3.4、读者研究

  
Figure 7 | 阅片者研究：
A 子图 展示人工智能模型（CardioNets 与基于心脏磁共振的参照模型）及医师在两阶段心肌病检测任务中的性能：第一阶段仅依靠心电图判读完成检测；第二阶段向医师提供人工智能生成或临床采集的心脏磁共振图像。本次阅片研究包含 2 名住院医师（R1、R2）、2 名主治医师（A1、A2）与 2 名副主任医师（C1、C2）。
B 子图 为医师区分生成心脏磁共振图像与临床采集心脏磁共振图像的混淆矩阵。矩阵为累积混淆矩阵（汇总各组全部医师的预测结果）。
C 子图 对比多组方法的心肌病检测效果：结合心电图与真实心脏磁共振图像的医师组、基于心脏磁共振的参照模型（CMR Ref），以及仅使用心电图输入的 CardioNets。红色数值代表 C 子图每一列中的最大值。

---

  为什么是生成四腔心而不是短轴两腔心呢(●’◡’●)