DeepSeek-R1 系列发布了 8 个开源模型，其中原生 DeepSeek 的只有 R1-Zero 和 R1，其他模型则是基于 DeepSeek 基础模型进行知识蒸馏，并采用 Qwen 或 LLaMA 架构的二次开发版本。本文动手部署了原生的 R1 版，当然受限于硬件条件限制采用了 2.51-bit 量化方案，并实际测试得出需要使用 4 块 H20 来进行部署 2.51-bit 量化的版本，需

大模型指令微调（Instruction Tuning）是一种针对大型预训练语言模型的微调技术，其核心目的是增强模型理解和执行特定指令的能力，使模型能够根据用户提供的自然语言指令准确、恰当地生成相应的输出或执行相关任务。指令微调特别关注于提升模型在遵循指令方面的一致性和准确性，从而拓宽模型在各种应用场景中的泛化能力和实用性。在实际应用中，我的理解是，指令微调更多把LLM看作一个更智能、更强大的传统N

真正的魔力在于结合这些方法：提示词、RAG、微调、切换模型和使用多模态大模型。利用每种方法的优势，并将其应用于文本和图像数据，以此用大模型提升你的生产力。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。包括：大模型学习线路汇总、学习阶段，大

RAG（Retrieval-Augmented Generation）是一种结合检索与生成的先进技术，通过从外部知识库中检索相关信息，提升生成文本的准确性和相关性。其核心优势在于知识更新成本低、答案准确性高、可解释性强，适用于知识密集型任务如AI文档问答、科研等。RAG的技术流程包括检索和生成两个阶段，依赖编码模型如BM25、SentenceBERT等。然而，其性能受限于知识库的质量和检索模块的准

微软开源 GraphRAG 后，热度越来越高，目前 GraphRAG 只支持 OpenAI 的闭源大模型，导致部署后使用范围大大受限，本文通过 GraphRAG 源码的修改，来支持更广泛的 Embedding 模型和开源大模型，从而使得 GraphRAG 的更容易上手使用。需要 Python 3.10-3.12 环境。安装完整后，需要创建一个文件夹，用来存储你的知识数据，目前 GraphRAG 只

目前，大模型在产业端落地的模式主要有两种，一种是企业进行私有化部署，这种模式的安全性和隐私性较高，但企业需要非常高昂的算力成本；另一种是企业通过公有云+API调用的模式，成本更低，灵活性也更高。在金融、医疗等对安全性和合规性要求较高的领域，一些企业选择了私有化部署，但在更广泛的领域中，公有云+API调用模式成为企业使用大模型的主流方式。这种全新的需求也在改变云计算行业的竞争方向。

这是面向小白用户的一个超级简单的微调大模型示例，通过这个例子将得到一个速度翻倍，并可以包含自己业务知识数据的微调后llama3模型，可用于本地部署构建私有化的AI智能体。very 的 nice首先请准备好google账号和网络环境，这个示例基于goolge colab的免费算力完成。使用浏览器打开上方链接将点击copy to Drive复制笔记到自己账号下的网盘，点击之后弹出新窗口我们就在这个弹出

开年来，随着ChatGPT的狂飙，引发了一轮全球的大模型热，各方资金蜂拥而入。ChatGPT能够成为火爆全球的顶流模型，除了自身强大的创新能力，也离不开强大算力的支持，这背后是耗资数亿美元，用了英伟达数万颗A100的微软超级计算机。一个有意思的现象是，打造出ChatGPT的明星公司OpenAI依然处于烧钱赚吆喝的巨亏状态，提供核心算力芯片的英伟达却是赚得钵满盘满，今年来股价已经翻番，市值破万亿美元

看了那么多chatGPT的文章，作为一名不精通算法的开发，也对大模型心痒痒。但想要部署自己的大模型，且不说没有算法相关的经验了，光是大模型占用的算力资源，手头的个人电脑其实也很难独立部署。就算使用算法压缩后的大模型，部署在个人电脑上，还要忍受极端缓慢的计算速度以及与chatGPT相差甚远的模型效果。前排提示，文末有大模型AGI-CSDN独家资料包哦！有什么办法能够部署属于我们自己的大模型呢？有编程

文章详细介绍了检索增强生成(RAG)系统中的倒数排序融合(RRF)技术。RRF是一种简单而强大的算法，通过融合多个检索结果的排名信息，无需复杂的分数归一化即可提升检索质量。文章解释了RRF的工作原理、核心公式及应用场景，包括混合检索、多查询检索和多模态检索，并提供了Python实现代码和最佳实践建议，帮助开发者构建更高质量的RAG系统。