logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

记一次 Ollama 部署 GGUF 模型后的异常输出修复

模型被当成了补全模型使用,而不是聊天模型使用。对于一些从 Hugging Face 直接拉取的 GGUF 模型,尤其是非官方、混合训练、偏代码或 Agent 数据的模型,不能默认假设 Ollama 一定能正确识别它的聊天模板。helloTEMPLATESYSTEM如果模板缺失或不合适,就应该自己写一个 Modelfile,明确指定对话格式和停止词。这类问题并不罕见,尤其是在使用 GGUF、Olla

不得不服chatgpt

最近碰到了一个非常奇怪的问题,折腾了整整一天。或者一直打不开。甚至把 Chrome 完全卸载重装了,依然没有任何变化。最后借助和 ChatGPT,终于定位到了真正原因。

#chrome
记一次 Ollama 部署 GGUF 模型后的异常输出修复

模型被当成了补全模型使用,而不是聊天模型使用。对于一些从 Hugging Face 直接拉取的 GGUF 模型,尤其是非官方、混合训练、偏代码或 Agent 数据的模型,不能默认假设 Ollama 一定能正确识别它的聊天模板。helloTEMPLATESYSTEM如果模板缺失或不合适,就应该自己写一个 Modelfile,明确指定对话格式和停止词。这类问题并不罕见,尤其是在使用 GGUF、Olla

Ollama 明明装了 NVIDIA 显卡,却一直跑 CPU?一次完整排查记录

明明装了 NVIDIA 显卡,为什么 Ollama 还是跑 CPU?先确认驱动是否正常再确认ollama服务用户有没有权限访问 GPU然后通过日志判断是“没识别到 GPU backend”还是“显存不够”必要时重载nvidia_uvm最后重装最新版官方 Ollama 排除安装状态问题最终我的机器已经成功切到了 GPU。

从MAC电脑复制qwen3.5:4b 的OLLAMA模型到LINUX电脑实践

文件都放对了,如果权限不对,Ollama 仍然可能无法正常读取。所以非常重要。这次实践证明,Ollama 的本地模型是可以在不同机器之间手工迁移的。找到 manifest找到对应 blobs保持目录结构复制到目标机器修正权限验证运行对于局域网机器迁移、离线环境部署、或者避免重复下载大模型,这种方法都非常实用。qwen3.5:4b并且能够直接运行,这说明整个复制流程是有效的。

#macos#linux#运维
记一次 Ollama 部署 GGUF 模型后的异常输出修复

模型被当成了补全模型使用,而不是聊天模型使用。对于一些从 Hugging Face 直接拉取的 GGUF 模型,尤其是非官方、混合训练、偏代码或 Agent 数据的模型,不能默认假设 Ollama 一定能正确识别它的聊天模板。helloTEMPLATESYSTEM如果模板缺失或不合适,就应该自己写一个 Modelfile,明确指定对话格式和停止词。这类问题并不罕见,尤其是在使用 GGUF、Olla

记一次 Ollama 部署 GGUF 模型后的异常输出修复

模型被当成了补全模型使用,而不是聊天模型使用。对于一些从 Hugging Face 直接拉取的 GGUF 模型,尤其是非官方、混合训练、偏代码或 Agent 数据的模型,不能默认假设 Ollama 一定能正确识别它的聊天模板。helloTEMPLATESYSTEM如果模板缺失或不合适,就应该自己写一个 Modelfile,明确指定对话格式和停止词。这类问题并不罕见,尤其是在使用 GGUF、Olla

记一次 Ollama 部署 GGUF 模型后的异常输出修复

模型被当成了补全模型使用,而不是聊天模型使用。对于一些从 Hugging Face 直接拉取的 GGUF 模型,尤其是非官方、混合训练、偏代码或 Agent 数据的模型,不能默认假设 Ollama 一定能正确识别它的聊天模板。helloTEMPLATESYSTEM如果模板缺失或不合适,就应该自己写一个 Modelfile,明确指定对话格式和停止词。这类问题并不罕见,尤其是在使用 GGUF、Olla

#java#人工智能#python
WSL 下使用 Claude Code Router 将 VS Code Claude Code 指向 AWS Bedrock GLM-5 模型

本文介绍了在Windows+WSL环境下配置VS Code使用Claude Code插件连接AWS Bedrock的GLM-5模型的方法。主要内容包括: 搭建架构:通过Claude Code Router将Claude Code插件请求路由到AWS Bedrock的zai.glm-5模型 配置步骤: 安装Claude Code Router 设置路由配置文件 配置VS Code插件环境变量 验证连

#aws#云计算
Claude Code + CCR + AWS Bedrock 踩坑复盘:上下文超限、模型路由、Mantle 端点与 Qwen3 Coder Next

这次排查中,我先后尝试了 GLM-5、MiniMax,最后发现 Qwen3 Coder Next 的上下文达到256,能够解决本次的问题。AWS Bedrock 官方模型卡显示,Qwen3 Coder Next 是面向代码生成、调试和软件工程能力优化的模型。同时它支持ResponsesInvoke和Converse等接口类型,并支持与端点。AWS 文档还特别提示,尽可能使用endpoint。AWS

#aws#云计算
    共 25 条
  • 1
  • 2
  • 3
  • 请选择