模型规模是提升LLM大语言模型性能的关键因素，但也会增加计算成本。Mixture of Experts (MoE) 架构通过分布式专家层和动态门控机制，有效降低了计算资源，使模型能够在扩展参数规模的同时保持高效的运行。

作者在Mean-Teacher的基础上，提出不确定性自感知模型（Uncertainty-Aware Self-ensembling Model），将图像加上不同的随机噪声多次输入教师网络中，对输出计算平均概率和不确定度，设计阈值过滤不确定的区域，得到更有意义更可靠的预测结果，然后再去指导学生网络。通俗的理解，以二分类为例（随机变量X要么是A类，要么是B类，非黑即白），如果X是A类的概率很小或者很大

个人认为，Mean Teacher网络的训练是一个求同存异的过程，输入的图像略有差异，网络参数略有差异，我们假设网络训练好后完全收敛，此时学生网络和教师网络的参数应该是非常接近的，也具备良好的去噪能力，那么一致性损失就会很小；自监督学习先使用大量无标签的数据集，通过对比学习和图像重建等方式构建损失函数，进行预训练，然后在特定任务上使用有标签的数据集进行微调。损失由两部分组成，有标签的数据做分割损失

脑肿瘤分割是MICCAI所有比赛中历史最悠久的，到2021年已经连续举办了10年，参赛人数众多，是学习医学图像分割最前沿的平台之一。简介：​胶质母细胞瘤和具有胶质母细胞瘤分子特征的弥漫性星形细胞胶质瘤（WHO 4 级星形细胞瘤）是成人中枢神经系统最常见和最具侵袭性的恶性原发性肿瘤，在外观、形状和组织学上具有极端的内在异质性。胶质母细胞瘤患者的预后非常差，目前的治疗标准包括手术，然后是放疗和化疗。国

nn-UNet使用记录–开箱即用nnunet项目官方地址MIC-DKFZ/nnUNet (github.com)使用nnunet之前，建议先阅读两篇论文nnU-Net: Self-adapting Framework for U-Net-Based Medical Image SegmentationnnU-Net: a self-configuring method for deep learn

nnUnet代码解读（一）nnunet项目官方地址MIC-DKFZ/nnUNet准备工作关于nnUnet代码包的安装和配置参考nn-UNet使用记录–代码配置_宁眸的博客-CSDN博客确认安装nnUnet代码包，配置好环境变量，确认nnunet/run/run_training.py可以成功运行。我是一边debug一边阅读源码的，不想debug也可以直接看源码。export nnUNet_raw_