Milvus是一款向量数据库，主要用于在大模型领域做向量查询的相关操作。milvus在之前的版本中其实是存在一些弊端的，尤其是在一些类似于mysql的查询方面，有一些缺点，这里简单唠叨几句。首先milvus不支持多个向量字段，其次milvus的模糊匹配只支持前缀匹配，再次milvus不支持排序。不过这些功能在最新版的milvus中都已经解决了。但是我还没来得及体验最新的版本，所以不知道支持情况如何

需要在启动时增加gpu_memory_utilization参数，或者max_model_len参数，具体数字根据实际情况调整，比如根据上面的提示修改gpu_memory_utilization=0.8或max_model_len=20480。手动下载模型(不建议比较复杂)则需要去modelscope中下载并存放到/root/.cache/modelscope目录下，如/root/.cache/m

你有没有想过，为什么 ChatGPT 的回答能逐字逐句地“流”出来？这一切的背后，都离不开一项关键技术——！SSE（Server-Sent Events）是一种基于 HTTP 协议的服务器推送技术，允许服务端主动向客户端发送数据流。SSE可以被理解为 HTTP 的一个扩展或一种特定用法。它不是一个全新的、独立的协议，而是构建在标准 HTTP/1.1 协议之上的技术。SSE 就像是服务器打开了一个“

Docker 镜像 已包含 Dify 所需的所有依赖（操作系统、Python 环境、库文件），无需手动安装 Python、Node.js、PostgreSQL 等组件，杜绝版本冲突。

由于打包工具内的核心程序是为 Linux 环境编译的，我们不能直接在 macOS 上运行。以下命令是经过反复调试和验证的最终成功版本，它解决了所有环境依赖和网络问题。本笔记旨在为需要在纯内网、离线环境中部署 Dify 的用户，提供一套完整、经过验证的插件打包和安装流程。核心思路是在有网的环境中，使用特定工具将 Dify 插件及其所有网络依赖（Python 包）预先下载并打包成一个自包含的离线安装包

​​​​​​总参数量​​​​2350亿​​​​320亿​​​​激活参数量​​​​220亿​​​​320亿​​​​硬件要求核心​​​​存放2350亿参数所需的巨额显存​​​​存放320亿参数所需的显存​​​​推理过程特点​​计算量小（只算220亿），​​但​​通信开销大计算量大（要算320亿），​​但​​通信简单​​好比​​租用整个巨型图书馆的场地很贵，但每次查书很快租用小图书馆场地便宜，但每次需要

在AI应用中，知识库的分段与数据清洗是至关重要的一步。通过合理的分段方式，不仅能提升LLM（大语言模型）对内容的检索效率，还能显著提高回答的准确性和全面性。今天，我们就来聊聊知识库的两种主要分段模式——通用模式和父子模式，以及它们各自的特点和适用场景。

在windows客户端上连接部署在windows操作系统上的达梦数据库使用DM管理工具连接数据库 正确输入用户名与密码之后点击确定按钮之后出现：登录服务器失败，错误号6001，错误消息：网络通信异常现象 如下图所示：在之前也发布了一篇关于此错误的博文： 达梦管理工具连接数据库服务器时提示：错误号 6001 网络通信异常，disql 连接提示：[-70028]:Create SOCKET conne

在AI应用中，知识库的分段与数据清洗是至关重要的一步。通过合理的分段方式，不仅能提升LLM（大语言模型）对内容的检索效率，还能显著提高回答的准确性和全面性。今天，我们就来聊聊知识库的两种主要分段模式——通用模式和父子模式，以及它们各自的特点和适用场景。

Idea是Java开发利器，springboot是Java生态中最流行的微服务框架，docker是时下最火的容器技术，那么它们结合在一起会产生什么化学反应呢？一、开发前准备1. Docker的安装可以参考https://docs.docker.com/install/2. 配置docker远程连接端口vi /usr/lib/systemd/system/docker.service复制代码找到 E