RAG（Retrieval-Augmented Generation）是一种结合了检索和生成的方法，旨在提高自然语言处理任务的性能。相对于预训练和微调，RAG的优势在于能够利用外部知识源，如知识图谱或文档数据库，以增强模型的理解和生成能力。此外，RAG还可以通过检索相关信息来减少对大规模预训练数据的依赖，从而降低计算成本。

在人工智能的快速发展中，指令微调（Instruction Tuning）成为了提升大型语言模型（LLM）能力的重要手段。与传统的训练方式不同，微调更多聚焦于在现有模型的基础上进行适应性调整，使其能够更好地执行特定任务或响应用户的指令。本文将带领大家一起深入了解指令微调的概念与实践方法，尤其是针对LLama2-Alpaca模型的微调实现。我们将从数据准备到微调代码的实现，再到如何使用SwanLab来

​Qwen3 是 Qwen 系列中最新一代的大规模语言模型，提供了一系列密集型和专家混合（MoE）模型。基于广泛的训练，Qwen3 在推理、指令执行、代理能力和多语言支持方面实现了突破性进展，能在单一模型内无缝切换思考模式（用于复杂的逻辑推理、数学和编程）和非思考模式（用于高效的通用对话），确保在各种场景下的最佳性能。​ms-swift 是 ModelScope 社区提供的官方框架，用于微调和部署

使用swanlab可视化工具监控llama3微调过程

在网上查找关于AI芯片的资料时，经常会发现信息零散、来源不一，导致搜索过程非常繁琐。正好在学习深度学习算法，并致力于与大模型相关的产品开发，所以决定直接汇总一篇关于AI芯片的资料。AI芯片作为支撑深度学习算法和大规模模型训练的核心硬件，其重要性日益凸显。目前市面上常见的AI芯片主要包括GPU、TPU、FPGA、以及专为深度学习设计的各类加速器。这些芯片不仅在处理速度上有显著优势，而且在处理复杂的矩

在网上查找关于AI芯片的资料时，经常会发现信息零散、来源不一，导致搜索过程非常繁琐。正好在学习深度学习算法，并致力于与大模型相关的产品开发，所以决定直接汇总一篇关于AI芯片的资料。AI芯片作为支撑深度学习算法和大规模模型训练的核心硬件，其重要性日益凸显。目前市面上常见的AI芯片主要包括GPU、TPU、FPGA、以及专为深度学习设计的各类加速器。这些芯片不仅在处理速度上有显著优势，而且在处理复杂的矩

AI芯片也被称为AI加速器或计算卡，从广义上讲只要能够运行人工智能算法的芯片都叫作 AI 芯片。但是通常意义上的 AI 芯片指的是针对人工智能算法做了特殊加速设计的芯片。

DeepSeek系列大模型由杭州深度求索高性价比：DeepSeek-V2模型以其史无前例的性价比著称，推理成本被降到每百万token仅1块钱，约等于Llama3 70B的七分之一，的七十分之一。架构创新：DeepSeek对模型架构进行了全方位创新，提出崭新的MLA（一种新的多头潜在注意力机制）架构，把显存占用降到了过去最常用的MHA架构的5%-13%，同时，独创的DeepSeekMoESparse

AI芯片也被称为AI加速器或计算卡，从广义上讲只要能够运行人工智能算法的芯片都叫作 AI 芯片。但是通常意义上的 AI 芯片指的是针对人工智能算法做了特殊加速设计的芯片。