logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

从零到一:用 AI Agent 辅助在 6GB 显卡上本地部署大模型实战

本文记录了在配备GTX 1660 Ti 6GB显卡的Ubuntu 20.04系统上本地部署Qwen3-8B大语言模型的完整过程。文章从硬件评估、模型选型(选择GGUF格式的Q4_K_M量化版)开始,详细介绍了使用Ollama工具的部署流程,包括驱动升级、Python环境配置等常见问题的解决方案。重点分析了KV Cache原理对显存的影响,展示了不同上下文长度下的性能表现(最佳19-38 tok/s

文章图片
从零到一:用 AI Agent 辅助在 6GB 显卡上本地部署大模型实战

本文记录了在配备GTX 1660 Ti 6GB显卡的Ubuntu 20.04系统上本地部署Qwen3-8B大语言模型的完整过程。文章从硬件评估、模型选型(选择GGUF格式的Q4_K_M量化版)开始,详细介绍了使用Ollama工具的部署流程,包括驱动升级、Python环境配置等常见问题的解决方案。重点分析了KV Cache原理对显存的影响,展示了不同上下文长度下的性能表现(最佳19-38 tok/s

文章图片
从零到一:用 AI Agent 辅助在 6GB 显卡上本地部署大模型实战

本文记录了在配备GTX 1660 Ti 6GB显卡的Ubuntu 20.04系统上本地部署Qwen3-8B大语言模型的完整过程。文章从硬件评估、模型选型(选择GGUF格式的Q4_K_M量化版)开始,详细介绍了使用Ollama工具的部署流程,包括驱动升级、Python环境配置等常见问题的解决方案。重点分析了KV Cache原理对显存的影响,展示了不同上下文长度下的性能表现(最佳19-38 tok/s

文章图片
从零到一:用 AI Agent 辅助在 6GB 显卡上本地部署大模型实战

本文记录了在配备GTX 1660 Ti 6GB显卡的Ubuntu 20.04系统上本地部署Qwen3-8B大语言模型的完整过程。文章从硬件评估、模型选型(选择GGUF格式的Q4_K_M量化版)开始,详细介绍了使用Ollama工具的部署流程,包括驱动升级、Python环境配置等常见问题的解决方案。重点分析了KV Cache原理对显存的影响,展示了不同上下文长度下的性能表现(最佳19-38 tok/s

文章图片
从零到一:用 AI Agent 辅助在 6GB 显卡上本地部署大模型实战

本文记录了在配备GTX 1660 Ti 6GB显卡的Ubuntu 20.04系统上本地部署Qwen3-8B大语言模型的完整过程。文章从硬件评估、模型选型(选择GGUF格式的Q4_K_M量化版)开始,详细介绍了使用Ollama工具的部署流程,包括驱动升级、Python环境配置等常见问题的解决方案。重点分析了KV Cache原理对显存的影响,展示了不同上下文长度下的性能表现(最佳19-38 tok/s

文章图片
从零到一:用 AI Agent 辅助在 6GB 显卡上本地部署大模型实战

本文记录了在配备GTX 1660 Ti 6GB显卡的Ubuntu 20.04系统上本地部署Qwen3-8B大语言模型的完整过程。文章从硬件评估、模型选型(选择GGUF格式的Q4_K_M量化版)开始,详细介绍了使用Ollama工具的部署流程,包括驱动升级、Python环境配置等常见问题的解决方案。重点分析了KV Cache原理对显存的影响,展示了不同上下文长度下的性能表现(最佳19-38 tok/s

文章图片
从零到一:用 AI Agent 辅助在 6GB 显卡上本地部署大模型实战

本文记录了在配备GTX 1660 Ti 6GB显卡的Ubuntu 20.04系统上本地部署Qwen3-8B大语言模型的完整过程。文章从硬件评估、模型选型(选择GGUF格式的Q4_K_M量化版)开始,详细介绍了使用Ollama工具的部署流程,包括驱动升级、Python环境配置等常见问题的解决方案。重点分析了KV Cache原理对显存的影响,展示了不同上下文长度下的性能表现(最佳19-38 tok/s

文章图片
通俗理解神经网络的对抗攻击及keras代码实例

上一篇转载的博文《神经网络中的对抗攻击与对抗样本》帮助我理解了神经网络学习的本质,以及对抗攻击的来龙去脉。接下来在这篇文章:《忽悠神经网络指南:教你如何把深度学习模型骗得七荤八素》中进一步理解了神经网络中白箱攻击,本博文拟在加深学习印象,并结合自己的一些理解对该文章将的一些内容做一个重梳理。因为本人也处于学习阶段,博文中因考虑不全面或有欠缺的地方欢迎交流指正。为什么要进行对抗攻击研究未...

#神经网络
卷积神经网络的时间、空间复杂度以及数据流的变化

0 前言复杂度对模型的影响时间复杂度决定了模型的训练/预测时间。如果复杂度过高,会导致模型训练和预测耗费大量时间,既无法快速的验证想法和改善模型,也无法做到快速的预测。空间复杂度决定了模型的参数数量。由于维度灾难(curse of dimensionality)的限制,模型的参数越多,训练模型所需的数据量就越大,而现实生活中的数据集通常不会太大,这会导致模型的训练更容易过拟合。1. 时...

vscode离线状态ssh连接不断输入密码登不上:配置commit_id

如题,vscode在一个离线服务器上,通过remote-ssh登录远程服务器,不断弹出密码框,总是进不去,后来了解到主要是不同vscode版本需要下载对应抑制commit-id的vscode-server-linux-x64.tar.gz包。如果你已经通过vscode连过了,这个commit_id的文件夹估计就已经存在了,不用再次创建,直接敲解压命令。2) 在一个可联网的服务器,输入如下命令下载这

#vscode#ssh
    共 44 条
  • 1
  • 2
  • 3
  • 4
  • 5
  • 请选择