Anything LLM+LM Studio+SearXNG实现私有模型开启联网功能,大模型入门到精通,收藏这篇就足够了!
AnythingLLM将您的文档划分为称为工作区的对象。工作区的功能很像线程,但增加了文档的容器化。
一、Anything LLM简介
一个全栈应用程序,使您能够将任何文档、资源或内容转换为上下文,任何LLM都可以在聊天过程中将其用作参考。此应用程序允许您选择要使用的LLM或矢量数据库,并支持多用户管理和权限。
AnythingLLM将您的文档划分为称为工作区的对象。工作区的功能很像线程,但增加了文档的容器化。工作区可以共享文档,但它们不会相互通信,因此您可以保持每个工作区的上下文干净。
AnythingLLM的酷炫功能
- 🆕 完全兼容MCP
- 🆕 无代码AI代理构建器
- 🖼️ 多模式支持(包括封闭式和开源LLM!)
- 自定义AI代理
- 👤多用户实例支持,仅限Docker版本
- 🦾 工作区内的代理(浏览网页等)
- 💬 仅适用于您的网站Docker版本的自定义可嵌入聊天小部件
- 📖 支持多种文档类型(PDF、TXT、DOCX等
- 简单的聊天界面,具有拖放功能和清晰的引用。
- 100%云部署就绪。
- 与所有流行的封闭式和开源LLM提供商合作。
- 与任何其他聊天UI相比,内置的节省成本和时间的措施用于管理非常大的文档。
- 用于自定义集成的完整开发人员API!
- 更多。..安装并找出答案!
二、安装Anything LLM
官方下载地址:Download AnythingLLM for Desktop
下载64位
下载完成后,直接下一步,下一步安装即可。
打开首页,新建工作区,My Workspace
三、LM Studio配置
LM Studio 是一款桌面应用程序,用于在您的计算机本地开发和实验 LLM。
LM Studio的安装过程,这里不再重复,参考文档:LM Studio本地部署Qwen3 - 肖祥 - 博客园
运行qwen3-8b模型即可
四、Anything LLM配置
大语言模型(LLM)
选择LM Studio,并配置模型,API地址
代理技能
开启web search(网络搜索),插件选择SearXNG,输入SearXNG API地址,比如:http://192.168.10.5:8081/search
访问http://192.168.10.5:8081/search,搜索天气,确保能正常搜索。
开发者API
生成新的API密钥,用于对外提供API接口调用
点击上面的,阅读API文档,打开页面后,点击认证
输入API密钥,并验证
测试调用接口,获取模型
点击执行,得到结果,模型为my-workspace,记住这个参数,等会要用到。
返回Anything LLM首页,新建一个会话,选择模型
选择模型
工作区设置自动开启联网功能
点击工作区设置
找到代理设置
注意:如果要联网功能,必须在输入信息开头添加@agent
但是这样会很麻烦,如何在上下文自动判断加@agent呢?
答案很简单,直接加提示词即可。
点击聊天设置
修改提示词,增加红色方框的文字,注意:最好是英文
完整提示词如下:
Given the following conversation, relevant context, and a follow up question, reply with an answer to the current question the user is asking. Return only your response to the question given the above information following the users instructions as needed. If unable to answer, add @ agent before the context and use the online search function to answer.
翻译成中文的意思是
根据以下对话、相关背景和后续问题,回答用户当前提出的问题。根据需要,按照用户说明,仅返回您对上述信息问题的回答。 如果无法回答,请在上下文前添加@agent,并使用在线搜索功能回答。
这样的话,你在聊天的过程中,遇到模型无法回答的问题,会自动在上下文添加@agent
五、测试联网功能
Anything LLM聊天测试
返回工作区,测试联网,查询天气
可以看到,它会自动添加@agent
Cherry Studio测试
添加模型供应商Anything LLM
输入api密钥,api地址,模型
点击检测, 验证是否成功
返回聊天框,选择模型Anything LLM
查询北京天气
可以看到,自动添加了@agent,联网查询结果。
我们该怎样系统的去转行学习大模型 ?
很多想入行大模型的人苦于现在网上的大模型老课程老教材,学也不是不学也不是,基于此,我用做产品的心态来打磨这份大模型教程,深挖痛点并持续修改了近100余次后,终于把整个AI大模型的学习门槛,降到了最低!
第一不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言
您只需要听我讲,跟着我做即可,为了让学习的道路变得更简单,这份大模型教程已经给大家整理并打包,现在将这份 LLM大模型资料
分享出来: 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓
一、大模型经典书籍(免费分享)
AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。
二、640套大模型报告(免费分享)
这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、大模型系列视频教程(免费分享)
四、2025最新大模型学习路线(免费分享)
我们把学习路线分成L1到L4四个阶段,一步步带你从入门到进阶,从理论到实战。
L1阶段:启航篇丨极速破界AI新时代
L1阶段:我们会去了解大模型的基础知识,以及大模型在各个行业的应用和分析;学习理解大模型的核心原理、关键技术以及大模型应用场景。
L2阶段:攻坚篇丨RAG开发实战工坊
L2阶段是我们的AI大模型RAG应用开发工程,我们会去学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。
L3阶段:跃迁篇丨Agent智能体架构设计
L3阶段:大模型Agent应用架构进阶实现,我们会去学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造我们自己的Agent智能体。
L4阶段:精进篇丨模型微调与私有化部署
L4阶段:大模型的微调和私有化部署,我们会更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调。
L5阶段:专题集丨特训篇 【录播课】
全套的AI大模型学习资源已经整理打包
,有需要的小伙伴可以微信扫描下方二维码
,免费领取
更多推荐
所有评论(0)