简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
大模型微调,通常指有监督微调(Supervised Fine-Tuning, SFT),是在预训练模型(一般称为“基座模型”)的基础上进行的训练过程。预训练模型通常已经掌握了广泛的语言知识和语义表示,但为了让模型在特定任务或领域上表现得更好,我们会在特定任务的数据集上对其进行微调。
没有消费级的 GPU,竟然都可以拥有自己的本地大模型。部署过程基本上没有卡点,一台普通的 Mac 就能搞定,太香了~
• 第一,我们不能预先指定矩阵的秩,需要动态更新增量矩阵的R,因为权重矩阵的重要性在不同模块和层之间存在显著差异。• 第二,需要找到更加重要的矩阵,分配更多的参数,裁剪不重要的矩阵。找到重要的矩阵,可以提升模型效果;而裁剪不重要的矩阵,可以降低参数计算量,降低模型效果差的风险。为了弥补这一差距,作者提出了AdaLoRA,它根据权重矩阵的重要性得分,在权重矩阵之间自适应地分配参数预算。
Prompt Tuning是现在大模型微调方法中的一种常用方法,本文通过解读5篇论文来了解Prompt Tuning方法演进的过程。分别是Prefix-Tuning、P-Tuning v1、Parameter-Efficient Prompt Tuning、P-Tuning v2。
本文主要是 Milvus 向量数据实战总结。• LLM 痛点以及解决方案• RAG 是什么,为什么选用RAG。•langchain文档加载器,chat model• 文档拆分的注意点,chat model区别。• chat 示例代码。。
某些场景下可能希望构建一个完全本地离线可用的大模型,方法很多,模型也很多,比如 qwen、qwen2、llama3等,最简单快捷的首推使用 ollama 部署,模型选用 qwen 或 qwen2,针对中文任务效果更好。
今天分享的这个开源项目,是 Microsoft GraphRAG 的改编版,专为支持使用 Ollama 的本地模型而定制。并具有交互式用户界面,可以直观的可视化图谱,查看索引数据,允许日志。。因为这个项目获得关注的速度太快了,作者还在努力修复和改进各种问题,甚至表示会尝试至少每隔几个小时更新一次~本地模型支持:利用 Ollama 的本地模型进行 LLM 和嵌入。成本效益:消除对昂贵的 OpenAI
今天,统计了全球各大网站数据(浏览量、下载量、使用量等等),最受欢迎的 20 款黑客工具。涉及范围主要集中在 信息收集、Android黑客工具、自动化工具、网络钓鱼等。取前 20 款列出,排名不分先后!适用于 Android 的多合一 WiFi 破解工具。适用于 Android 5+ 的 Aircrack,Airodump,Aireplay,MDK3 和 Reaver GUI 应用程序。(需要 r