大模型微调（Fine-tuning）是在通用“基座模型”的基础上，使用特定任务 / 领域的数据集（如医疗对话、法律文档分析、代码生成等）进行进一步训练，通过更新模型参数，使其获得专业能力的过程。因为其位置（关键权重旁）和方式（可合并的旁路） 在效果、效率和便利性上取得了最佳平衡。方式 1：合并 LoRA 适配器到原模型（推荐，部署时无需加载 PEFT）④ **BitFit(仅调偏置）**极简低成本

图形化管理工具:Milvus WebUI (Milvus v2.5.0之后有)milvus-minio : 对象存储服务容器,负责所有原始数据的持久化存储。milvus-standalone:Milvus 核心服务容器。milvus-etcd: 元数据管理服务容器。使用docker compose安装。启动完成之后可以使用。

实现框架：目前有多种创新框架，如 TIM 框架，它使 LLMs 能够维护一个随对话流不断演进的记忆库，用于存储历史思考痕迹，包含响应生成前的检索相关思考和响应生成后的事后反思并更新记忆库两个关键阶段；基本概念：长期记忆是指大模型能够存储历史交互、用户偏好等信息，类似于人类的长期记忆，使模型能够在后续的交互中利用这些信息，实现自我进化和更个性化的服务。重要性：长上下文处理能力使大模型能够处理更复杂的

参考: https://blog.csdn.net/weixin_44301630/article/details/122390018。中间多有坎坷,各种缺包,各种报错, 报错丢到大模型(豆包/deepseek),通常都能出结果,注意版本兼容。windows下安装 vllm 的是要借用 WLS2,使用root账户安装。vLLM是针对linux优化的,且依赖 CUDA 工具链,需要安装CUDA。安装

流式输出需在stream_options中设置include_usage: true以获取完整统计。但并不是所有模型 都在这个库里面。2.使用tiktoken库。所以指定一下编码比较好。

如果你发现某个容器反复重启,就是用docker logs 容器id 看一下具体原因,然后将日志丢给豆包之类的大模型,然后一步步解决问题;前置条件 docker, docker-compose。最后登录在浏览器中输入 http://服务器ip。首次登录是要设置账号密码的。docker 换国内源。

stream模块如果配置了http模块的一些东西, 数据解析就会出问题;其中TCP通过nginx透传要用nginx的stream模块, 而webSocket用到的是http模块;注意stream 模块不支持server_name , 监听的只有端口,域名可以瞎配;先说概念避免踩坑:mqtt协议分 TCP 和webSocket。然后再 conf.d/mqtt.stream 中添加。首先看nginx有

① 量化②剪枝（Pruning）③知识蒸馏（Knowledge Distillation）①GPU 加速（NVIDIA/AMD）②CPU 加速（Intel/AMD/x86/ARM）① 通用推理引擎②生成式模型专用引擎① 批处理与动态调度②内存优化③轻量级部署工具推理优化是提升大模型（尤其是小参数模型如 Qwen2-0.5B-Instruct）部署效率的核心环节，除了之前提到的llama.cpp优化

原文: https://blog.csdn.net/u012985132/article/details/52782494GET请求:public void getHttp() {HttpURLConnection conn = null;try {// 创建一个URL对象URL mURL = new U...

工作常用IDEA,不想在电脑上装太多软件,之前在Idea上写Python,那么用Idea写microPython应该也是可以的,就是为了不装PyCharm,如果你一直在Idea上写python,可以照着试试环境:你window10 ,python3.7.5,IDEA(2020.3)硬件部分ESP32-C3(10块钱买的)参考:https://blog.csdn.net/qq_43454310/ar