任务：从语音特征（梅尔频谱图，mel-spectrogram）中分类扬声器（600 个类别）。数据集：Voxceleb2 数据集的子集，包含 600 个扬声器的音频特征。目标学习使用 Transformer 模型（Simple 级别）。调整 Transformer 参数（Medium 级别）。构建 Conformer（Hard 级别，代码中未实现）。进一步实现 Self-Attention Poo

网络压缩是通过减少机器学习模型的参数数量和计算需求，使其更小、更高效的技术。大型模型（如多模态大模型）通常有数亿参数，计算成本高，难以在手机、机器人等设备上运行。压缩技术让这些模型“轻量化”，适合资源受限的环境。费曼式讲解想象你有一个超级大的行李箱，装满了衣服（模型参数），但你只能带一个小背包旅行（资源受限设备）。网络压缩就像整理行李，只带必需品，扔掉不重要的衣服，但还要保证你能应对各种场合（模型

我们输入的这个数据包含了很多dimension,100x100x3维, 假设我们一层有1000个神经元,那么我们就会有3x10e7个weight,有太多的这个参数了,虽然可以让我们的模型更有弹性,能力更强,但也增加了over fitting的风险,如果我们是要考虑影像本身的特性,那么我们是不是真的需要每一neuron对每一个dimension都有一个weight呢。答案是不用的,我们可以共享参数,

文章摘要：本文详细介绍了在PyTorch中加载和处理数据集的多种方法，包括使用内置数据集、自定义数据集、ImageFolder、TensorDataset以及文本数据集的加载。文章还涵盖了数据增强、自定义采样器、多进程加载等高级特性，并提供了一个完整的MNIST数据集加载和LeNet模型训练的示例。通过这些方法，用户可以灵活地处理不同类型的数据集，并高效地进行深度学习模型的训练和测试。

元学习（Meta Learning）是机器学习的一个分支，目标是让机器“学会如何学习”。它通过训练一个学习算法，使其能快速适应新任务，只需少量数据。与传统机器学习专注于单一任务（如猫狗分类）不同，元学习关注如何让模型在多种任务上表现良好。费曼式讲解想象你在教一个学生做数学题。传统机器学习是教他只做加法，给他很多加法题练习。元学习是教他如何快速学会任何新题型，比如只给他几道乘法例题，他就能自己学会乘

想象你是一个翻译员，要把一句话从中文翻译成英文。你需要同时看句子里的每个词，理解它们之间的关系。就像一个超级翻译助手，它用“自注意力机制”（Attention）一次处理所有词，快速找出重要联系，比老式的翻译机（RNN）更快更聪明。Transformer 是 2017 年由 Vaswani 等人提出的神经网络架构（论文：《Attention is All You Need》），主要用于自然语言处理（

Autoregressive（自回归）：每一个输出依赖于前一个输出每一步的生成依赖前一个 token：$y_t \sim P(y_t | y_1, y_2, ..., y_{t-1})$无法并行解码，推理慢示例：Transformer、GPT并行生成，加速显著适合实时任务，如翻译、语音识别序列生成是指根据输入条件 x，生成输出序列 y = (y₁, y₂, ..., yₜ)。机器翻译：将一种语言翻