logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

Windows下Ollama客户端安装到其他磁盘路径

Ollama - Windows官方下载 | 微软应用商店 | Microsoft Store。

#docker#java#容器
搭建本地大模型运行环境

必须与 CUDA 严格对应,CUDA 12.1 推荐搭配 cuDNN v8.9.7(不建议新手尝试 9.x 版本)。安装 CUDA 12.1 版本,因为 PyTorch、Transformers 等主流框架对其全量适配,坑最少。cuDNN 是大模型推理速度的关键依赖,不装会导致速度大幅下降或降级到 CPU 运算。1.前往 NVIDIA 官方驱动下载页。3.部署 cuDNN 神经网络加速库。

#python
Python 打包 exe 完整教程(PyInstaller,Windows)

Windows 参数:--add-data "源路径;2. 附带静态资源(图片、配置文件)dist:最终 exe 在这里。build:打包临时缓存。spec:打包配置文件。

#python#开发语言
搭建本地大模型运行环境

必须与 CUDA 严格对应,CUDA 12.1 推荐搭配 cuDNN v8.9.7(不建议新手尝试 9.x 版本)。安装 CUDA 12.1 版本,因为 PyTorch、Transformers 等主流框架对其全量适配,坑最少。cuDNN 是大模型推理速度的关键依赖,不装会导致速度大幅下降或降级到 CPU 运算。1.前往 NVIDIA 官方驱动下载页。3.部署 cuDNN 神经网络加速库。

#python
到底了