随着大模型产业的发展，AI 训练 & 推理对算力的需求越来越大，AI 的计算也越来越离不开 GPU 的支持。CPU（通用处理器）；GPU（通用图形处理器）；NPU / TPU（AI 专用处理器）。那么 CPU 和 GPU 有什么区别呢？从硬件设计上来看，GPU 的 DRAM 时延（数据搬运、指令执行的延迟）远高于 CPU，但 GPU 的线程数远高于 CPU（有非常多的线程，为大量大规模任务并行而去

Python 中的模块、包以及库有什么区别？模块（module）：任何.py文件都可以作为一个“模块”（除了.py文件之外，模块还可以有其它形式）；包（package）：任何包含了一个文件的文件夹都是一个“包”，一个包里可以包含其它的包和模块；库（library）：“库”更多地是一种编程上的概念，表示可重复利用的代码。关于这个问题，更深入的分析和讲解可以参考知乎上“风影忍者”和“看图学”的这两个回

LoRA（Low-Rank Adaptation，低秩适配器）是目前非常热门的大模型微调技术之一，网上已经有许多关于其原理的分析和讲解，本文将着重从 LoRA 背后的数学原理进行解读。大模型微调（Fine-tuning）：基于已经训练好的预训练模型，针对特定的下游任务，在特定领域的数据集上进行二次训练，以提升模型在特定任务上的表现。全量微调：在下游任务的训练中，对预训练模型的每一个参数都做更新（训