大模型微调，通常指有监督微调（Supervised Fine-Tuning, SFT），是在预训练模型（一般称为“基座模型”）的基础上进行的训练过程。预训练模型通常已经掌握了广泛的语言知识和语义表示，但为了让模型在特定任务或领域上表现得更好，我们会在特定任务的数据集上对其进行微调。

没有消费级的 GPU，竟然都可以拥有自己的本地大模型。部署过程基本上没有卡点，一台普通的 Mac 就能搞定，太香了~

• 第一，我们不能预先指定矩阵的秩，需要动态更新增量矩阵的R，因为权重矩阵的重要性在不同模块和层之间存在显著差异。• 第二，需要找到更加重要的矩阵，分配更多的参数，裁剪不重要的矩阵。找到重要的矩阵，可以提升模型效果；而裁剪不重要的矩阵，可以降低参数计算量，降低模型效果差的风险。为了弥补这一差距，作者提出了AdaLoRA，它根据权重矩阵的重要性得分，在权重矩阵之间自适应地分配参数预算。

Prompt Tuning是现在大模型微调方法中的一种常用方法，本文通过解读5篇论文来了解Prompt Tuning方法演进的过程。分别是Prefix-Tuning、P-Tuning v1、Parameter-Efficient Prompt Tuning、P-Tuning v2。

本文主要是 Milvus 向量数据实战总结。• LLM 痛点以及解决方案• RAG 是什么，为什么选用RAG。•langchain文档加载器，chat model• 文档拆分的注意点，chat model区别。• chat 示例代码。​。

某些场景下可能希望构建一个完全本地离线可用的大模型，方法很多，模型也很多，比如 qwen、qwen2、llama3等，最简单快捷的首推使用 ollama 部署，模型选用 qwen 或 qwen2，针对中文任务效果更好。

今天分享的这个开源项目，是 Microsoft GraphRAG 的改编版，专为支持使用 Ollama 的本地模型而定制。并具有交互式用户界面，可以直观的可视化图谱，查看索引数据，允许日志。。因为这个项目获得关注的速度太快了，作者还在努力修复和改进各种问题，甚至表示会尝试至少每隔几个小时更新一次~本地模型支持：利用 Ollama 的本地模型进行 LLM 和嵌入。成本效益：消除对昂贵的 OpenAI

今天，统计了全球各大网站数据（浏览量、下载量、使用量等等），最受欢迎的 20 款黑客工具。涉及范围主要集中在 信息收集、Android黑客工具、自动化工具、网络钓鱼等。取前 20 款列出，排名不分先后！适用于 Android 的多合一 WiFi 破解工具。适用于 Android 5+ 的 Aircrack，Airodump，Aireplay，MDK3 和 Reaver GUI 应用程序。（需要 r