
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
针对Ubuntu系统重启后Ollama服务无法自动使用GPU的问题,提出三种解决方案:1)优化启动脚本增加GPU驱动就绪检查;2)配置Systemd服务确保GPU初始化完成后再启动容器;3)调整Docker启动参数确保正确挂载GPU。
本文介绍了Ollama服务的端口查看与修改方法。默认情况下,Ollama监听11434端口,可通过netstat或ss命令确认。修改端口需编辑/etc/systemd/system/ollama.service文件,在[Service]部分添加OLLAMA_HOST环境变量(如0.0.0.0:11435)。修改后需重启服务并验证新端口是否生效。
本文介绍了Ollama服务的端口查看与修改方法。默认情况下,Ollama监听11434端口,可通过netstat或ss命令确认。修改端口需编辑/etc/systemd/system/ollama.service文件,在[Service]部分添加OLLAMA_HOST环境变量(如0.0.0.0:11435)。修改后需重启服务并验证新端口是否生效。
针对Ubuntu系统重启后Ollama服务无法自动使用GPU的问题,提出三种解决方案:1)优化启动脚本增加GPU驱动就绪检查;2)配置Systemd服务确保GPU初始化完成后再启动容器;3)调整Docker启动参数确保正确挂载GPU。
Ollama是一个开源本地大语言模型运行平台,支持Docker部署和API调用。
LLaMA-Factory是一个整合主流高效训练微调技术的开源框架,旨在降低大模型微调门槛。该项目提供多阶段训练、推理测试、评测和API服务等模块化功能.
本文介绍了基于Qwen3-0.6B模型的LoRA微调方法,适用于意图识别、文本分类等任务。采用Alpaca数据格式和PEFT框架,提供从数据准备到模型部署的完整流程。主要内容包括:1)Alpaca格式数据转换;2)LoRA微调训练参数配置;3)权重合并方法;4)可选RK3588边缘设备部署方案。该方法支持在单卡24GB显存的GPU上完成训练,通过低秩适配实现高效微调,最终可输出兼容HuggingF
LangChain是一个强大的框架,用于构建基于大型语言模型(LLM)的应用程序。它提供模块化设计、链式调用、上下文记忆等功能,支持与多种数据源和工具的集成。核心组件包括模型封装、提示模板、任务链、智能代理等,适用于智能对话、知识问答、自动化任务等多种场景。LangChain简化了LLM应用的开发流程,提高了开发效率和系统灵活性。
本文介绍了Milvus向量数据库的可视化管理工具Attu的两种安装方式:通过Docker容器启动(运行指定命令并设置相关参数)或下载桌面版程序安装。同时说明从Milvus v2.5.0版本开始内置的WebUI工具,可通过浏览器访问9091端口查看数据库详情、管理任务等。Attu作为开源工具,为Milvus提供了便捷的图形化管理界面,支持对集合、索引等核心功能的高效操作。
LLaMA-Factory是一个整合主流高效训练微调技术的开源框架,旨在降低大模型微调门槛。该项目提供多阶段训练、推理测试、评测和API服务等模块化功能.







