logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Ollama 只使用核显不使用独显的解决方案

摘要: Ollama 0.30.8 在笔记本双显卡环境下默认启用 Vulkan 后端,可能误判 NVIDIA 独显为核显导致性能低下(如 RTX 4070 仅 1.94 t/s)。通过检查日志发现 Vulkan 错误丢弃独显,仅剩核显运行。解决方案是添加系统环境变量 OLLAMA_VULKAN=false 强制使用 CUDA 后端,使模型正常调用独显(速度恢复至 30-50+ t/s)。关键排查点

#人工智能#语言模型
Ollama 只使用核显不使用独显的解决方案

摘要: Ollama 0.30.8 在笔记本双显卡环境下默认启用 Vulkan 后端,可能误判 NVIDIA 独显为核显导致性能低下(如 RTX 4070 仅 1.94 t/s)。通过检查日志发现 Vulkan 错误丢弃独显,仅剩核显运行。解决方案是添加系统环境变量 OLLAMA_VULKAN=false 强制使用 CUDA 后端,使模型正常调用独显(速度恢复至 30-50+ t/s)。关键排查点

#人工智能#语言模型
Ollama 只使用核显不使用独显的解决方案

摘要: Ollama 0.30.8 在笔记本双显卡环境下默认启用 Vulkan 后端,可能误判 NVIDIA 独显为核显导致性能低下(如 RTX 4070 仅 1.94 t/s)。通过检查日志发现 Vulkan 错误丢弃独显,仅剩核显运行。解决方案是添加系统环境变量 OLLAMA_VULKAN=false 强制使用 CUDA 后端,使模型正常调用独显(速度恢复至 30-50+ t/s)。关键排查点

#人工智能#语言模型
在 springboot 3.X 中快速上手 Filter(过滤器),实现Token的拦截

Filter 是前端请求到达 Servlet 之前使用的工具,适用于处理与业务无关的通用逻辑,如:Token 校验、权限控制、重定向等以上就是对 Filt er 的简单使用,我们可以用它在登录时验证 token 的有效性;用密码登录时,将 token 放到 header 中,以及验证用户是否有权限访问一些页面和功能。

#spring boot#后端#java +1
到底了