PDDS：利用检测和分割算法从核磁共振成像和 DaT 扫描图像早期诊断帕金森病的软件
Tewodros Megabiaw Tassew
文章
关键词：
帕金森病
磁共振成像
DaT 扫描
深度学习
磁共振成像
DaT 扫描
深度学习
摘要
帕金森病是一种常见的神经退行性疾病，影响着全球数百万人。核磁共振成像和 DaTScan 等医学成像技术可以显示与该疾病相关的大脑结构（如黑质和纹状体）的变化，从而帮助诊断帕金森病。在本文中，我们提出了一款名为 PDDS（帕金森病诊断软件）的软件，它能利用先进的深度学习模型从 MRI 和 DaTScan 图像中自动检测和分割大脑深部区域。我们的软件使用 YOLO 和 UNET 集合分别从 T2 加权 MRI 和 DaTScan 图像中精确定位感兴趣区（ROI），并将其用于定量评估和决策支持。该集合方法采用加权平均集合，通过网格搜索技术获得适当的权重，从而获得最高的平均 IOU。我们使用了马赛克数据增强技术，通过将模型暴露于不同环境中的物体来提高模型的泛化能力。我们使用 PPMI 和 IXI 数据集对提出的架构进行了训练和验证，检测结果表明，YOLOv7x 模型在 DaTScan 图像上的 mAP_0.5:0.95 为
1.导言
帕金森病（PD）是一种缓慢进展的神经退行性疾病，最早由詹姆斯-帕金森（James Parkinson）描述，主要影响中老年人。据预测，2015 年全球帕金森病患者人数将达到 620 万[54]。预计到 2017 年，全球将有 850 万人受到该疾病的影响[23]。据报道，在中国，65 岁以上的成年人中有 1.7% 患有该病[58]。该病是老年人神经系统疾病中最常见的病因之一。帕金森病的发病率约占总人口的 0.3%，在 60 岁以上人群中的发病率为
影响基底神经节的最常见疾病是帕金森病。帕金森氏症是由黑质紧实旁的多巴胺能神经元变性引起的。这些神经元参与将多巴胺传递到纹状体和另一个基底节核。黑质是人脑中一个小而重要的结构。它是位于中脑的一个运动核。它在调节运动方面发挥着重要作用。影响黑质的脑损伤导致的运动障碍包括帕金森病和其他运动障碍。它在精神分裂症的发病机制中也发挥着作用。
近来，帕金森病患者大脑中多巴胺能细胞的死亡与基因突变、异常的ubiq-uitin-蛋白酶体和自噬-溶酶体处理折叠错误的蛋白质、氧化应激增加、线粒体功能障碍、炎症和其他致病机制有关。环境中的毒素，如妨碍线粒体功能的杀虫剂，可能会影响线粒体的功能。
是导致帕金森病多巴胺能神经元退化的一个因素。
2.早期诊断帕金森病的挑战
治疗帕金森病的最大障碍之一是发现太晚[31]。由于缺乏早期诊断技术，这种疾病通常在神经元完全退化后才被发现。因此，没有早期干预措施来阻止疾病的发展，最终导致死亡[30]。帕金森病的症状通常出现在多巴胺缺乏达到
帕金森退行性疾病的早期临床表现很难诊断[20]。有研究表明，即使在专业中心，帕金森病临床诊断的错误率也可高达
3.帕金森病的生物标志物
美国国立卫生研究院生物标志物定义工作组于 1998 年将生物标志物定义为 "某种生物状态或状况的可测量指标，通过客观测量和评估来研究正常生物过程、致病过程或对治疗干预的药理反应"[50]。生物标志物是物理、化学或生物指标，可用于
以评估帕金森病的风险、阶段和进展，从而提供治疗
目前似乎还没有一种特定的血液检测或生物标志物可以可靠地诊断出帕金森氏症或跟踪疾病进展过程中的潜在变化[21]。为了帮助临床医生将帕金森病与相关疾病区分开来，他们需要全面了解帕金森病的临床表现。未来的研究可能会发现该病特有的生物标志物，从而将其与其他神经退行性疾病区分开来。因此，甚至可以在患者出现任何症状之前就开始神经保护治疗。这种检测将有助于确定高危亲属或人群，以及诊断已患病者的病情（见图 1）。
综合使用不同的生物标志物可以提高诊断的准确性。虽然没有推荐使用特定的生物标志物，但可以将这些生物标志物进行逻辑整合，以预测疾病的状态和发展。[30]尽管帕金森病的生物标志物种类繁多，但它们可分为三个阶段，即前驱期、临床前和临床帕金森病。表 1 和图 2 总结了帕金森病不同阶段的指标。
3.1.早期帕金森病的成像生物标志物
越来越多的成像技术有望检测出帕金森病患者的早期变化，并作为疾病进展的单独指标[19]。在诊断帕金森病时，越来越多地利用影像生物标志物来证实临床发现。帕金森病的特征是基底神经节区域（黑质、普陀门、尾状核和苍白球）的黑质多巴胺能神经元显著丧失[2,41]。这主要是由于随着年龄的增长，铁沉积增加所致，在这些区域比身体其他部位更明显[57]。
图 1.基底节冠状视图。
表 1
帕金森病不同阶段的生物标志物[31]。
帕金森病不同阶段的生物标志物[31]。
| 前驱期白内障 | 临床前病理研究 | 临床 PD | |
| 临床状况 | 开始出现早期非运动症状，同时伴有早期细微运动症状，并出现帕金森病病理变化。 |
无临床症状或体征。 |
出现典型的运动表现。 |
| 生物标志物 | - 非运动症状 | - 分子成像 | - 运动症状 |
- 嗅觉减退（嗅觉障碍） |
- DAT SPECT | - 肌无力 | |
- 视觉异常（眼球运动障碍）。 |
- 氟罗多巴 PET 扫描 | - 肢体运动障碍 | |
- 神经精神症状 |
- 经颅超声 |
- 运动功能减退 | |
| i.抑郁症 | - 磁共振 | - 姿势不稳 | |
| ii.焦虑 | 成像 | - 刚性 | |
| iii.失神 | - 光学共振 | - 弯腰姿势 | |
iv.直立性低血压 |
断层扫描 | - 静止时震颤 | |
v.睡眠障碍，如快速眼动睡眠行为障碍 |
- 生化生物标志物 | - 步态障碍 | |
vi.便秘和其他自律神经失调特征。 |
- 基因生物标志物 | - 手臂、腿部僵硬、 |
|
vii.泌尿系统功能障碍。 |
后车厢 | ||
viii.情绪障碍和神经行为异常 |
- 平衡和协调能力差 |
图 2.用于跟踪帕金森病随时间进展情况的生物标记物。
在过去的三十年中，许多神经影像学方法，如磁共振成像（MRI）、单光子发射计算机断层扫描（SPECT）、正电子发射计算机断层扫描（PET）、经颅声学扫描和功能磁共振成像（fMRI），都被用来追踪这些区域神经元缺失的变化，并将其作为早期诊断帕金森病的生物标志物。尤其是磁共振成像（MRI）和多巴胺转运体扫描（DaT 扫描）生物标志物的分析已被证明在区分帕金森病与其他运动相关疾病的特征方面非常有用。
3.1.1.核磁共振成像
脑磁共振成像（MRI）扫描评估是早期检测帕金森病最广泛使用的诊断范例。最近，磁共振（MR）脑成像技术在早期帕金森病的诊断方面取得了可喜的成果，而且有望比标准临床检测更加准确。核磁共振成像可以检测黑质中的铁沉积，追踪大脑结构的变化。它还能让我们看到大脑的基本状态。神经病学通常是一个常规检查领域，没有重大发现。帕金森病患者的常规磁共振成像检查可用于诊断帕金森叠加综合征和继发性帕金森综合征。
3.1.1.1.用于诊断帕金森病的磁共振成像模式。T2 MRI - 铁沉积会导致局部磁场不均匀，从而导致 T2 信号丢失。由于铁蛋白引起的局部磁场异质性，铁
其分布在 T2 加权图像上表现为信号低强度（暗）。T2加权高场磁共振成像为评估锥体外系运动系统提供了独特的机会。根据对帕金森病患者大脑的病理检查，他们的黑质含铁量比正常人高。由于铁的积累会改变磁共振信号，尤其是 T2 信号，因此，研究人员利用磁共振 T2 驰豫测量、T2-和 T2* 加权图像的组合以及 T 2 驰豫测量序列对回波间时序的依赖性来评估帕金森病患者铁含量的变化。
使用T2加权核磁共振成像技术对中脑进行成像显示，由于与帕金森病相关的多巴胺能神经元的缺失，黑质紧密旁（SNc）和黑质网状旁（SNr）发生了重要的结构变化。它能检测这些区域因铁沉积而导致的信号强度变化。铁会改变磁场的均匀性，降低组织中磁共振信号的强度[15,43,52]。
SNr由于含铁量高，导致T2弛豫时间缩短，因此具有较强的低密度信号[15]。帕金森病主要影响 SNc 中的多巴胺分泌神经元，这些神经元含有较多的神经髓鞘，其特征是 SNr 周围出现相对高密度的信号。 然而，由于这些区域之间没有明确的分界，即使应用较高的磁场也很难从 T2 图像中划分出这些区域。根据[17]的研究，SNc 的大小显著缩小是因为 SNr 中的铁含量增加或 SNc 中的 DA 神经元死亡。这些结构变化与 SNr 低强度的 "模糊化 "和 SNc 中 DA 神经元的减少有关。
在 MR 成像中，RN 与 SN 之间的距离[16]。研究还发现，在黑质中存在 T2 加权高强化信号强度或低强化信号强度减弱[7]。图 3 描述了通过 T2 加权 MRI 图像观察到的对照组和帕金森病患者黑质大小的差异。第二张图像显示黑质区域明显模糊，与红色核的距离缩短。
神经褪黑素敏感核磁共振成像（NM-MRI）--检测SNc神经变性的其他可行方法包括通过神经褪黑素敏感T1加权核磁共振成像（NMMRI）观察神经褪黑素[44]。神经褪黑素积聚在特定的自噬细胞器中，最终积聚在SN中的多巴胺能神经元（DA）的躯干中。由于DA内神经元的减少，帕金森病患者的神经络氨酸含量约为同年龄组对照组的
在帕金森病患者中，细胞内铁-神经络氨酸复合物的含量低会导致核磁共振成像（NM-MRI）信号强度降低。即使在早期阶段，通过测量 NM-MRI 中神经络氨酸信号的损失，也能准确地将帕金森病患者与对照组区分开来
SWI - 除了观察黑质核的信号变化外，还提出了其他几种通过 T2 加权图像诊断帕金森病的方法。帕金森病患者大脑黑质核和基底节区域有大量铁沉积。研究发现，脑核中的铁沉积与核磁共振成像过程中的图像变化密切相关，与传统序列相比，SWI 技术更能突出组织间磁感应强度的差异。处理后的图像显示了局部磁场的不均匀性以及富含铁的组织对质子自旋相的改变。帕金森病患者的大脑黑质和基底节核有大量铁沉积。
一些研究发现，多巴胺能细胞在SN中逐渐丧失，主要是在黑质组-1区域，该区域的多巴胺能细胞丧失最为严重。黑质组-1（N1）是五个钙调蛋白稀缺区中最大的一个，位于鼻窦背内侧尾部（最尾端）。直接
现在，利用梯度回波成像和感度加权成像（SWI）的高分辨率 3-T 和 7-T MRI 技术[3,13]，可以实现对鼻窦黑质体的可视化。黑质体-1 征的特征是两个低密度的尾巴和一个高密度的中心，在 T2 易感加权成像（SWI）上被称为 "燕尾征（STS）"。
Calloni等人[8]发现，识别N1在区分帕金森病和对照组方面的敏感性和特异性分别为
3.1.2.经颅超声检查（TCS）
德国学者贝克尔于 1995 年提出，黑质的高回声程度与帕金森病的严重程度和持续时间密切相关。目前认为，回声增强是由黑质多巴胺能神经元异常铁沉积引起的，这意味着黑质和纹状体的多巴胺能系统功能受损。Vlaar等人[53]发现，与帕金森病患者的
3.1.3.DaT 扫描
目前，DAT-PET 成像被认为是帕金森病最准确的分子成像标记。DAT-PET 可用于帕金森病（PD）与非帕金森病样震颤、药物性帕金森病、精神性帕金森病和血管性帕金森病的鉴别诊断。它被视为疾病的早期诊断指标。在多巴胺神经元的突触前膜上，有一种名为 DAT 的蛋白质负责转运多巴胺。它的作用是主动将释放的多巴胺从突触间隙运回突触前区，以维持突触的正常生理功能。它可用于确定纹状体突触前神经纤维中的多巴胺能神经纤维终端是否功能活跃。
最近，DaT 扫描的使用率大幅上升。
图 3.正常中脑（A）与帕金森病中脑（B）的轴向 T2 MR 图像对比图。随后，红色核和黑质几乎相触[37]。(关于本图例中颜色的解释，请读者参阅本文的网络版）。
图 4.健康志愿者（A）和帕金森病患者（B）的轴向脑干切片显示，患者黑质的神经褐素信号强度降低[40]。
图 5.用 3 T 磁共振进行的感度加权成像（SWI）扫描。（a）健康患者存在规则的燕尾征；（b）帕金森病患者燕尾征消失。[18].
由于传统的核磁共振成像对捕捉黑质的变化不够敏感，因此可以通过成像来帮助诊断帕金森病[46]。然而，PET 和 SPECT 成像模式只能在 80% 的神经元开始退化和疾病显现时诊断疾病 [1]。因此，治疗只能在疾病的后期进行，导致治疗无效。为了评估疾病的严重程度和进展情况，必须在进行 SPECT 和 PET 成像的同时确定 MRI 等其他生物标志物，以便早期诊断帕金森病，从而采取更好的治疗措施 [49]。在需要区分帕金森病与本质性震颤（ET）或帕金森病附加综合征（药物诱发的帕金森病）的情况下，DaT 扫描非常有用[14,26]。
黑质中多巴胺能神经元的缺失会导致纹状体中黑质神经元的退化。多巴胺转运体（DaT）控制着多巴胺在黑质和纹状体之间的流动。DaT扫描是一种利用单光子发射计算机断层扫描（SPECT）检测大脑中多巴胺转运体（DaT）的技术。在人体静脉注射碘-123氟丙基（123I-FP-CIT）后的3-6小时内，示踪剂会循环到大脑并与多巴胺转运体（DAT）结合，然后通过SPECT成像进行记录[6,22]。
在一项为期 4 年的临床随访评估中，[24] 显示 DATSPECT 成像可以检测出脊髓灰质炎发病的可能性，
DAT结合率逐年下降。Suwijn等人[51,4]的研究表明，使用DAT-SPECT成像对帕金森病患者进行诊断的准确性很高，灵敏度从
4.相关作品
由于分析大脑皮层下区域的固有特征和不同方面对人眼来说极具挑战性，因此，计算机辅助检测系统最近被用于利用多维医疗数据诊断帕金森病[5,32]。多年来，各种基于机器学习（ML）和深度学习（DL）的帕金森病检测技术相继问世[55]。一些机器学习模型，如奈维贝叶斯（NB）、支持向量机（SVM）、逻辑回归、随机森林（RF）和决策树已被用于帕金森病的诊断。[34]的研究表明，区分帕金森病患者痴呆症和健康大脑的最佳分类器是基于多元滤波器的奈何贝叶斯模型，它具有最高的交叉验证灵敏度。使用机器学习技术，如逻辑回归、随机森林、提升模型、多变量滤波等，可以对痴呆症患者和健康大脑进行区分。
图 6.对照组（A）和帕金森病患者（B）的 PPMI DaT-SPECT 图像显示，普鲁士门和尾状核的放射性示踪剂摄取量大幅减少。
树和支持向量机（SVM），[39] 利用患者问卷调查开发了检测帕金森病发病的预测模型。他们的研究表明，这些技术能以较高的准确率和 ROC 曲线下面积（均为
尽管机器学习模型已在该领域取得了重大进展，但要利用人工神经网络或其他机器学习技术产生高于
基于一个包含核磁共振成像和 DaTscan 图像数据的新型帕金森病数据库，深度卷积和递归神经网络（CNNs，CNN-RNNs）被用于诊断帕金森病，并取得了非常高的预测准确率[55]。最简单的 CNN 架构 LeNet-5 被用于从 MRI 图像中早期诊断帕金森病，在应用了批量归一化和剔除技术以减少过拟合后，其准确率达到了
迁移学习是一种典型的深度学习技术，它可以存储
利用原始数据集从训练好的 DNN 模型中学到的知识，将其用于初始化另一个模型，从而加快学习过程 [55]。利用迁移学习训练 AlexNet 架构以诊断帕金森病的研究包括 [49,28]。Sivaranjini 和 Sujatha[49]利用纹状体区域灰质强度损失作为生物标记物来识别帕金森病患者。在从每个受试者身上选取
[10]使用 PPMI 的 3T T1 加权磁共振成像扫描，从健康组和帕金森病组各选出 203 名受试者。他们提出了一个定制的三维 CNN 模型，共有 35 层，总体准确率达到 95.29%。在预处理阶段进行了图像配准，将所有图像对准蒙特利尔神经研究所（MNI）空间的固定坐标系。另一种通过 T1 加权图像诊断帕金森病的方法是使用 MR 图像中的灰质（GM）、白质（WM）和全脑区域来训练两个独立的集合架构。他们报告称，使用平滑的 GM 和 WM 提取物的准确率为
已有多项研究利用深度学习技术，通过神经髓鞘磁共振成像（NM-MRI）来评估黑质的变化。Shinde等人[48]创建了一个CNN网络，利用神经络氨酸敏感核磁共振成像（NMS-MRI）诊断帕金森病，最佳测试准确率为
表 2
简要回顾近期利用机器学习和统计学习技术从核磁共振成像模式预测脊髓灰质炎的研究采用的方法（Shinde等人，2019年）。
简要回顾近期利用机器学习和统计学习技术从核磁共振成像模式预测脊髓灰质炎的研究采用的方法（Shinde等人，2019年）。
| 作者，年份 | 受试者人数 | 采用的方法 | 准确性 (%) |
| 萨尔瓦多等人，2014 年 | VBM PCA SVM |
PD vs HC: 83.2 PSP vs HC: 86.2 PSP vs PD: 84.7 |
|
Cherubini 等人，2014a，2014b |
震颤显性脊髓灰质炎 |
||
Cherubini 等人，2014a，2014b |
100 | ||
| 拉纳等人，2015 年 | 基于兴趣区域的 SVM |
86.67 | |
Singh 和 Samavedham，2015 年 |
PPMI 组群 PD |
自组织图 SVM | 99.9 |
| Huppertz 等人，2016 年 | 体积测量 SVM | 80 | |
| 阿德利等人，2016 年 | PPMI队列 PD |
特征-样本联合选择 |
81.9 |
| 阿波斯等人，2017 年 | 功能连接组 SVM |
80 | |
| 佩兰等人，2018 年 | VBM, T2* 放松测量、DTI 自组织地图 |
PD 对 MSA： |
|
| [1] | PPMI队列 PD |
连接性测量 SVM |
93 |
| Ariz 等人，2019 年 | 基于核磁共振成像的黑质下地图集 |
79.9 |
DTI: 弥散张量成像；ET：HC：健康对照组：MSAC：以小脑特征为主的多系统萎缩；MSA-P：以帕金森特征为主的多系统萎缩；NM-MRI：神经黑素敏感磁共振成像；PD：帕金森病；PPMI：帕金森病：PD：帕金森病；PPMI：帕金森病进展标志倡议；PSP：进行性核上性麻痹；PSP-RS：进行性核上性麻痹：PSP：进行性核上性麻痹；PSP-RS：进行性核上性麻痹-理查森综合征；SVM：支持向量机：SWEDD：无多巴胺能缺陷证据的扫描；VBM：基于体素的形态测量。
NM-MRI，这与既定的人工方法不相上下。
Ortiz 等人[36] 开展了一项研究，将从 PPMI 数据库的 3D DaT-SPECT 扫描中提取的等值面或孤立面（等值面的二维版本）用于检测帕金森病。他们实施了基于三维 LeNet 和 AlexNet 的 CNN 模型，准确率和 AUC 分别达到
数据集来解决领域适应问题。
5.动机
我们在研究过程中面临的主要挑战之一是，用于研究帕金森病诊断的多模态磁共振成像数据有限。与单模态磁共振成像数据相比，多模态磁共振成像数据能提供更全面、更准确的大脑结构和功能信息。然而，获取多模态磁共振成像数据既费钱又费时，而且很少有为此目的的公开数据集。因此，我们只能依靠从 PPMI 和 IXI 数据集收集的单模态 MRI 数据集。
我们遇到的另一个挑战是核磁共振图像缺乏适当的注释。注释对于训练和评估用于检测和分割任务的深度学习模型至关重要。然而，核磁共振成像图像注释是一个繁琐而主观的过程，需要专家的知识和技能。我们不得不在一位神经科医生的帮助下手动标注数据集中的每张图像，这耗费了大量的时间和精力。
为了克服这些挑战，我们采用了两种技术：数据增强和迁移学习。数据扩增是一种通过应用各种转换（如旋转、缩放、翻转、裁剪等）从现有数据生成新数据的技术。数据扩增可以增加数据集的多样性和规模，从而提高模型的泛化和鲁棒性。迁移学习是一种利用从不同但相关的领域或任务中学到的知识的技术。迁移学习可以减少对大量标注数据的需求，加快训练过程。我们使用这两种技术来增强我们的数据集，提高模型的性能。
我们的目标是开发一种技术，分别从 T2 加权核磁共振成像和 DaTScan 图像中检测和分割黑质和纹状体等感兴趣区（ROI），并将其用于定量分析和决策制定。大多数技术都依赖于使用整个 MRI 和 DaT 扫描图像来训练分类模型，但由于工程特征与后续分类或回归模型之间可能存在高度相关性，因此学习效果并不理想。与使用整个图像进行特征提取和分类的现有方法不同，我们的方法侧重于与诊断帕金森病相关的 ROI。由于使用工程特征的局限性，以及使用从感兴趣区域而非非相关区域提取的特征作为决策依据的优势，检测和分割模型的性能可以得到显著提高。
本文的主要贡献概述如下：
我们从 PPMI 和 IXI 数据集中手动标注了 MRI 和 DaT 扫描图像的 ROI，并训练了最先进的卷积神经网络（CNN），如 YOLO 和 UNET 集合，以准确定位和分割 ROI。
为了提高基本 UNet 模型的语义分割性能，我们尝试使用不同的深度卷积神经网络作为编码器。我们选择了三种流行的骨干网络：VGG19、EfficientNet-B4 和 ResNet50，并将它们与 UNet 编码器集成。与浅层 UNet 编码器相比，这些骨干网络能从输入图像中提取出更有意义的特征。
我们提出了一种集合方法，用于提高不同骨干模型的分割性能。这种集合方法使用非加权平均或加权平均的方式，将不同架构的多个模型的输出结果结合起来。我们对这两种平均方法进行了试验，发现在采用网格搜索技术为每个模型找到最佳权重后，加权平均法获得了最高的平均 IOU。
为了评估分割模型，我们采用了一种新的混合损失函数，该函数结合了焦点损失和骰子损失。焦点损失有助于解决类别不平衡的问题，因为它减少了 "好 "类别对 "坏 "类别的贡献。
分类示例，重点关注难分类示例。骰子损失（Dice loss）可以测量预测掩码和地面实况掩码之间的重叠度，同时引入一些可变性，而且也是可微分的。
我们还创建了一个软件工具，可将图像中的 ROI 可视化。我们的方法首次解决了使用核磁共振成像和 DaT 扫描图像诊断帕金森病时数据稀缺和 ROI 识别的难题。
6.方法论
本节介绍了数据集、预处理步骤以及建议方法的实施细节。本节还解释了用于训练网络的损失函数以及用于评估其性能的指标。
6.1.方法
在这项研究中，我们使用了两种生物标志物来区分早期帕金森病患者和健康受试者。
T2 加权 sMRI - 定位黑质区域并比较结构变化以诊断患者。
DaT 扫描 - 通过定位和比较尾状核和普塔门核纹状体区域的大小差异。
6.2.数据采集
帕金森病进展标志物倡议（PPMI）（https://www.ppmi-info.org）除了为更广泛的研究界提供全面、标准化的纵向数据集和生物样本库，以加快发现和验证新成果的临床应用外，还寻求确定帕金森病风险、发病和进展的生物标志物，这些标志物是创造新的和改进的治疗方法的重要工具。
PPMI 的目标是利用增强成像和生物采样来发现帕金森病的生物标志物，并对具有重大意义的群体进行评估。这项研究正在美国、欧洲、以色列和澳大利亚的临床研究机构进行。从研究参与者那里收集的数据和样本有助于建立一个全面的帕金森病数据库和生物库。PPMI 数据集中的参与者可分为以下几类。
帕金森病（Parkinson's disease，PD）--具有致病基因变异或早期发病、未经治疗的散发性帕金森病患者。
前驱期 - 由于临床特征、基因变异或其他生物标志物而有患帕金森病风险的人。
健康对照组 - 没有神经系统疾病且一级直系亲属中没有人患有帕金森病的参与者被视为健康对照组。
核磁共振成像研究从帕金森病进展标志物倡议（PPMI）数据集中选取了 450 名早期帕金森病患者和 103 名年龄在 50-79 岁之间的对照组受试者。所有图像均为 T2 加权图像，在 T1 解剖空间内拍摄。所有帕金森病患者和正常人身体健康，无内科或神经系统疾病史。扫描使用的是西门子 Trio 3 Tesla MRI 扫描仪，并使用 3D MPRAGE 序列获取解剖图像。解剖数据预处理包括利用脑提取工具（BET）去除 T 2 解剖图像中的非脑组织。
如上图所示，由此产生的数据存在类别不平衡的问题。为了解决这个问题，我们从公开的 IXI 数据集（https://brain-development.org/ixi-dataset/）中收集了 347 张对照组受试者的 T2 加权结构 MRI（sMRI）扫描图像。大脑发育组的 IXI 数据集包含近 600 张来自正常健康受试者的 MRI 图像。这些数据是在三家不同的医院收集的
在伦敦。
PPMI数据集包括神经成像信息学技术倡议（NIfTI）和医学数字成像和通信（DICOM）格式的预处理磁共振成像数据。DICOM 是一种医学图像交换和传输标准，允许整合来自多个制造商的医学成像设备。NIfTI 是一种开放式文件格式，广泛用于保存通过磁共振成像获得的脑成像数据。它是一种新的分析式数据格式，允许功能磁共振成像数据分析软件包相互通信。不过，在本研究中，NIfTI 格式的数据是从帕金森病数据库和生物库中获取的。
核磁共振成像的最终数据集包括早期帕金森病和对照组的 450 个 NIfTI 文件。PPMI 数据集和 IXI 中的预处理 MRI 3D 数据均为 NIFTI 格式。还从 PPMI 下载了 DaT 扫描数据，并为早期帕金森病和对照组选择了 315 个 NIfTI 文件。使用MRIcron工具（https://people.cas.sc. edu/rorden/mricro/）、3D Slicer（https://www.slicer.org/）和神经成像软件包Nibabel（https://nipy.org/nibabel/）对从PPMI数据集下载的NIFTI格式图像进行可视化，以研究感兴趣的区域。MRIcron 对于需要快速高效研究医学影像的医学专业人员或学生尤其有用。三维切片器（Slicer）工具也是一款免费开源的图像分析和科学可视化软件套件。PPMI 的临床数据转储还包括患者的年龄、就诊时间、性别和采集数据。
6.3.预处理
PPMI 数据集源自一项观察性纵向研究，该研究旨在确定帕金森病进展的生物标志物。该研究的组织者在公开这些图像之前对其进行了预处理。他们采取了几个步骤来确保数据的质量和可比性。首先，他们使用非线性变换将所有图像共同注册到相同的解剖模板上。其次，他们将图像插值到相同的分辨率（1 毫米 3），并使其各向同性。第三，他们使用线性变换将所有图像对齐到一个名为蒙特利尔神经研究所（MNI）的标准空间。数据被注册为 MNI152 格式，这是一种广泛用于神经成像分析的模板。然而，由于扫描来自不同的机器，采集参数也不同，因此数据之间仍存在形态和维度差异。为了使数据具有可比性，我们必须将其标准化为通用格式。图 7 显示了准备数据集和预处理管道的整个工作流程。
磁共振成像转换 - 首先从 PPMI 和 IXI 数据集下载磁共振成像数据。每个 T2 MRI 图像的体积为256。这些图像在 z 轴和 t 轴上串联，然后转换为二维图像堆栈，其中每个二维图像以 PNG 格式表示每个切片。每个核磁共振成像 NIfTI 卷有 256 个切片，首先使用 python 代码利用 nifti2png 软件包将这些切片转换为 PNG 格式，然后选择可以清晰看到黑质的两个切片（见图 8）。(见图 8）
DaT 扫描转换 - 每个 DaT SPECT 都以形的三维体积显示。在研究了其他研究的图像预处理方法并对每张切片进行目测分析后，决定第 40-41 张切片似乎能说明像素强度最高的感兴趣区。每个 DaT SCAN NIfTI 卷有 91 张切片，首先使用名为 MRIcron 的工具将这些切片转换为 PNG，然后选择了两张可以清楚看到尾状核和普坦门核的切片。
图像标记 - 所有对照组图像都标记为 "0"，而 PD 图像则标记为 "1"。然后将这些图像分为训练集、验证集和测试集。
图 7.准备数据和预处理管道。
4.训练集、验证集和测试集的分割 - 从 NIfTI 转换为 PNG 格式后，在训练模型之前，将 MRI 和 DaT 扫描数据集分割为训练集、验证集和测试集。MRI 数据集包含两类共 900 张图像。然后对其进行分割，其中训练集由 600 幅图像组成，验证集由 200 幅图像组成，测试集由 100 幅两类图像组成。预处理后的 DaT 扫描数据集包含两类共 630 幅图像。以同样的方式对它们进行分区，训练集由 420 幅图像组成，验证集由 150 幅图像组成，测试集由 60 幅图像组成。需要注意的是，将数据集划分为训练集、验证集和测试集并不重要，可能会产生非常相似的结果。它是
重要的是，这些集合是相互排斥的，而且是随机选择的。(见表 3 和表 4）。
5.调整大小 - 我们使用近邻插值法将所有扫描图像调整为相同尺寸。图像分割的挑战之一是在不丢失原始像素值的情况下调整分割蒙板的大小。调整分割掩码大小的常用方法是使用近邻插值法，它将最接近像素的值分配给新像素。这种方法保留了掩码的二进制或离散性，而其他插值方法则通过平均相邻像素来引入新值。例如，双线性插值会考虑像素周围已知像素值的最近
图 8.将磁共振成像体积转换为图像分析格式。
表 3
分区后的最终磁共振成像数据集。
分区后的最终磁共振成像数据集。
| 数据集 | 控制 | PD |
| 培训 | 600 幅图像 | 600 幅图像 |
| 验证 | 200 幅图像 | 200 幅图像 |
| 测试 | 100 张图片 | 100 张图片 |
表 4
分区后的最终 DaT 扫描数据集。
分区后的最终 DaT 扫描数据集。
| 数据集 | 控制 | PD |
| 培训 | 420 幅图片 | 420 幅图片 |
| 验证 | 150 幅图像 | 150 幅图像 |
| 测试 | 60 幅图像 | 60 幅图像 |
近邻插值，但它会导致某些具有分割掩码的切片图像全黑。
6.归一化--为了尽量减少差异，核磁共振成像和 DaT 扫描图像都在
其中，
7.数据扩增--一套被称为 "数据扩增 "的技术可用于从现有数据中创建新的数据点，从而人为地增加数据量。这包括对数据进行细微改动，以及利用深度学习模型创建新的数据点。为了使检测模型能更多地概括数据，它使用了一些最好的数据增强方法。而不是仅仅依靠几个特征来识别物体。
当使用增强数据时，模型必须在增强数据中找到新的特征来识别物体。
CutMix 数据增强功能被 YOLOv4 首次引入的 Mosaic 数据增强功能所取代。马赛克的概念非常简单。需要四幅图像才能生成一幅最终图像。四幅图像中的每一幅都会被调整大小并拼接在一起，然后使用拼接图像的随机剪切来创建最终的马赛克图像。与只混合两张输入图像的 CutMix 相比，四张不同背景的图像被合并在一起。这样就能检测到不在其典型上下文中的物体。此外，批量归一化还能根据 4 幅不同的图像计算出每一层的激活统计数据。因此，对小批量数据规模的要求大大降低。yolov5 和 yolov7 模型都使用了这些数据增强方法，它们被选中用于检测任务。(见图 9）
8.用于检测任务的注释 - MRI 和 DaT 扫描图像都已注释，以便用于检测任务。为了准备用于检测任务的数据集，以便从核磁共振成像和 DaT 扫描图像中定位感兴趣区域，我们使用 LabelMe 注释工具（https://labelme.csail.mit.edu/Release3.0/ ）为每个类别添加基本真实边界框和标签。LabelMe 是由麻省理工学院计算机科学与人工智能实验室（CSAIL）创建的一个项目，它提供了一个带有注释的数字图像数据集。它使用 Python 编写，图形界面使用 Qt。每张图像都由人工标注，分别标注核磁共振成像和 DaT 扫描图像中的黑质和纹状体区域。为核磁共振成像和 DaT 扫描图像上的每个边界框分配了两个类别。用于核磁共振成像的类别包括健康的黑质下部和不健康的黑质下部。DaT 扫描图像也被标记为健康纹状体或不健康纹状体。
9.分割任务的注释 - 对于分割任务，使用 VGG 图像注释器（VIA）（https 😕/www.robots.ox.ac.uk/〜vgg/software/via/ tool）进行标注。VIA 是牛津大学学者开发的图像和视频注释工具。它是一个简单轻便的应用程序，可完全在网络浏览器中运行。为核磁共振成像和 DaT 扫描图像指定了四个类别，用于标注左右侧 SNr 和纹状体。用于核磁共振成像图像的类别包括
图 9.马赛克数据增强示例（A）显示了四张 DaT 扫描图像，（B）显示了对照组和帕金森病受试者的四张 MRI 图像。
健康左侧纹状体、健康右侧纹状体、不健康左侧纹状体和不健康右侧纹状体。DaT扫描图像被标记为健康左侧纹状体、健康右侧纹状体、不健康左侧纹状体或不健康右侧纹状体。
6.4.网络架构
6.4.1.探测模型
在检测任务中，选择了 YOLO 算法来提出边界框并提供分类分数。对从 PPMI 数据集收集的 T2 加权 MRI 和 DaT 扫描数据图像进行标记后，对 YOLOv5 和 YOLOv7 检测网络进行训练，以选择预测感兴趣区位置的最佳模型。首先，使用 YOLOv5 模型执行检测任务。YOLOv5 是 Ultralytics 最近创建的物体检测模型之一，该公司也创建了 Pytorch 版本的 YOLOv3。根据 Ultralytics GitHub 页面的介绍，该公司的开源 YOLOv5 实现库（https://github.com/ultralytics/ yolov5）在发布时被认为是最先进的 YOLO 实现。克隆该资源库是为了使用我们的自定义数据集训练模型。它的设计与 YOLOv4 类似，后者采用 CSPDarknet53 作为主干，SPP 块和路径聚合作为颈部，YOLOv3（基于an-chor）作为头部。Yolov5 的网络架构。它由三部分组成：（1）骨干网：CSPDarknet，(2) Neck：头部：YOLO 层。数据首先输入 CSPDarknet 进行特征提取，然后输入 PANet 进行特征融合。最后，YOLO 头部层输出检测结果（类别、分数、位置、大小）[56]。
另一个用于检测实验的模型是 YOLOv7 模型，该模型引入了若干架构变化，从而提高了速度和准确性。为了使用自定义数据集训练模型，我们克隆了 yolov7 论文官方实现的 GitHub 存储库 (https://github.com/WongKinYiu/yolov7) 。该架构受到 YOLOv4、Scaled YOLOv4 和 YOLO-R 的启发，并且没有使用已经在 ImageNet 上训练过的骨干，而是仅使用 COCO 数据集进行训练。(见图 10）。
在 5 FPS 至 160 FPS 的范围内，GPU V100 上所有 30 FPS 或更高的已知实时物体检测器在精度和速度方面都不及 YOLOv7。它还拥有最高的
是设计一个有效的架构。有效架构的设计必须考虑到模型的计算密度、处理量和几个参数。高效层聚合网络（ELAN）论文认为，通过调节最短和最长梯度路径，深度网络可以有效地学习和收敛。扩展、洗牌和合并 Cardinality 是 YOLO v7 用来扩展 ELAN 的三种技术，并将其更名为扩展高效层聚合网络（Extended- ELAN，或 EELAN），在不改变原始梯度路径的情况下，不断提高网络的学习能力。E- ELAN 只需修改计算模块的架构，而过渡层架构则保持不变。
模型缩放的主要目的是调整模型的某些属性，生成不同规模的模型，以满足不同推理速度的要求。对于基于串联的设计，效能网采用的方法并不合适。当深度向上或向下扩展时，过渡层的内度会随着计算块的变化而变化。对于模型缩放，YOLOv7 提出了一种复合缩放方法，可应用于基于串联的架构，并计算计算块输出通道的变化，以实现深度因子的缩放。因此，建议的缩放程序可以保留原始模型设计和理想结构的特性。
为了研究如何将重新参数化的卷积与各种网络进行整合，YOLOv7 采用了梯度流传播路径。此外，它还使用了浅层网络权重，以辅助损失作为引导，并使用了深度监督，即在网络的中间层添加一个辅助头。YOLOv7 架构中的主导头用于最终输出，而辅助头则用于辅助训练。为了分别为辅助头和主导头学习提供从粗到细的分层标签，YOLOv7 使用主导头预测作为指导。
YOLOv7 的三个基本模型是 YOLOv7、YOLOv7-tiny 和 YOLOv7-W6。YOLOv7-tiny和YOLOv7-W6分别针对边缘GPU和云GPU计算，而YOLOv7基本模型则针对通用GPU计算进行了优化。建议的复合缩放方法用于放大整个模型的深度和宽度，以生成其他变体，如 YOLOv7-X、YOLOv7-E6 和 YOLOv7-D6。
为确保与类似规模的模型（如 YOLOv5x）进行公平比较，我们选择了预先训练好的 YOLOv7-X 模型进行定制训练。在使用 COCO 数据集时，YOLOv7-X 的推理速度比 YOLOv5-X 高出 21 FPS。YOLOv7 还降低了
图 10.Yolov7 的网络架构图包含四个一般模块：输入端、主干、头部和预测，以及五个基本组件：CBS、MP、ELAN、ELAN-H 和 SPPCSPC。[25].
参数数量减少
6.4.2.分割模型
作为应用最广泛的图像分割技术之一，UNet 在 ISBI-2012 数据集上的表现最佳。它也是一个没有全连接层的 "全卷积神经网络"。其架构由捕捉上下文的收缩路径和实现精确定位的扩展路径组成，从而形成著名的 U 形。在这方面，U-Net 与其他全卷积分割网络的主要区别在于，当我们向上采样并深入网络时，我们会将下部的高分辨率特征与向上采样的特征串联起来，从而实现以下目的
通过以下卷积，可以更好地定位和学习表征。这种架构的设计使其能够用更少的训练数据集产生更好的结果。它还采用了弹性变形等数据增强技术，以更好地利用现有的注释样本。
首先，从零开始创建了一个定制的 UNet 模型，作为比较结果的基础模型。定制模型是在最初的 UNet 论文基础上实现的。但也做了一些修改，如将层过滤器的数量减少到原始论文中的
输入和输出 - 还修改了模型的输入和输出形状，以适应定制数据集的要求。
图 11.自定义 UNet 模型。
核磁共振成像和 DaT 扫描图像都被重塑为
架构实施 - UNet 的架构分为三个部分。收缩路径（Contracting Path），即降序部分，是第一阶段。它有助于确定图像中对象的上下文，并指定对象所属的类别。第二条路径是扩展路径，有助于定位图像中的对象。它告诉我们对象的位置。最后一个部分是跳过连接，用来保持图像向下采样时丢失的空间信息。
集合模型 - 集合学习是一种通过某种方式组合单个模型来提高其泛化性能的技术。深度集合学习是集合学习的一种特殊类型，它使用深度学习模型作为基础学习器。深度学习模型具有很强的表现力，可以从数据中学习复杂的模式。集合学习可以减少深度学习模型的方差和偏差，使其更加稳健和准确。集合学习的基本思想是使用多个模型进行预测，然后使用某种方法（如平均法或投票法）对它们进行汇总。集合模型有望比集合中的任何单一模型表现得更好。
由于定制的 UNet 模型只有几层深度，下一个合理的步骤是创建一个利用深度卷积神经网络作为编码器的 UNet 模型，以提取良好的语义信息。为了扩展简单的 UNet 模型，我们使用了几个深度卷积神经网络作为骨干。分割模型（https://github. com/qubvel/segmentation_models）库用于部署具有多个骨干网的 UNet 模型。分割模型是一个使用神经网络进行图像分割的 Python 软件包，基于 Keras（Tensorflow）框架构建。它是一个高级 API，包括用于二元和多类分割的四种模型架构，UNet 是其中之一。每个架构包含约 25 个独立的骨干网，每个骨干网都有自己的预训练权重，以便更快、更有效地进行图像分割。
更好地收敛。
本实验选择了 VGG19、EfficientNet-B4 和 ResNet50 等三种不同的骨干网作为特征提取器。分割模型 API 将根据不同的骨干网创建相应的网络编码器和解码器部分。为了进行公平比较，每个模型都使用与自定义 UNet 模型相同的初始化参数进行训练。为每个骨干网初始化的预训练权重是在 2012 ILSVRC ImageNet 数据集上训练的。
模型平均化 - 分类问题的定义是，根据从训练数据集合中学习到的假设