阿里千问2.5模型，72B版本在MMLU、MATH、MBPP等大部分评测指标上都超过了Llama3 405B，甚至一些指标也超过了GPT4o。今天要挑战用我的4GB老显卡不做量化、不做压缩，看看能不能跑起来这个72B模型。

今天教程关于在自己电脑搭建大模型，支持开源的大模型，像主流的通义千问2.5，Llama3，教程还包括如何使用这些大模型做接口调用，实现自动化输出。

非常推荐有个人知识库需求的朋友们使用这种方式，5分钟就能快速启动满血版deepseek-r1+cherry studio本地知识库。

搭建/部署大模型，听起来很像是程序员才会干的事，实际上，有很多项目已经帮我们封装好常用功能，我们要做的只是在电脑上安装一个软件。

传统数据岗位HC正在锐减，只会SQL、Excel、BI 工具已经不够了！如果你还在做传统数据治理、分析，确实可能面临“被优化”的风险。

如果你只能说出"把工具描述写在 prompt 里让模型输出 JSON"，那最多算及格；能讲清楚 Function Calling 的原生机制、Prompt 工程方案、以及微调方案这三条路线的区别和适用场景，才算真正有深度。

LlamaFactory v0.9.4 正式发布：告别 2025，全面升级的 LLM 微调框架来了

如何在没有向量库、没有 embedding 的情况下，先实现一个 可解释、可控、可迭代 的“规则检索器”，并展示从 V1 到 V2 的演进思路。

这不是一篇“速读”文章，但如果你能读到最后，作为一名 AI 从业者，你将掌握对 LLM 进行 Finetuning 所需的全部核心知识。

LangChain是一个强大的框架，旨在帮助开发人员使用语言模型构建端到端的应用程序。