logo
publist
写文章

简介

该用户还未填写简介

擅长的技术栈

可提供的服务

暂无可提供的服务

ollama+模型内网离线部署

在线机器上使用ollama提前下载好模型,将模型文件models直接拷贝到系统中,在服务文件中设置存放模型文件的环境变量即可。mv /home/models /usr/share/ollama/.ollama //替换模型文件。rm -r /usr/share/ollama/.ollama/models //删除原模型文件。sudo systemctl restart ollama //停止oll

文章图片
#语言模型#gpt-3
ollama+模型内网离线部署

在线机器上使用ollama提前下载好模型,将模型文件models直接拷贝到系统中,在服务文件中设置存放模型文件的环境变量即可。mv /home/models /usr/share/ollama/.ollama //替换模型文件。rm -r /usr/share/ollama/.ollama/models //删除原模型文件。sudo systemctl restart ollama //停止oll

文章图片
#语言模型#gpt-3
异构计算卡DCU平台部署qwen2.5-instruct-7B

DCU(Deep Computing Unit 深度计算器)是 海光(HYGON)推出的一款专门用于 AI 人工智能和深度学习的加速卡。DCU也可以应用于密集型数值计算。例如:DCU Z100 32GB HBM2 PCIE 4.0 x16国产通用GPU卡* 2支持ECC,单块GPU卡显存32GB HBM2,FP64 10.8TFlops,通用计算核心8192。

#人工智能#自然语言处理
ollama+模型内网离线部署

在线机器上使用ollama提前下载好模型,将模型文件models直接拷贝到系统中,在服务文件中设置存放模型文件的环境变量即可。mv /home/models /usr/share/ollama/.ollama //替换模型文件。rm -r /usr/share/ollama/.ollama/models //删除原模型文件。sudo systemctl restart ollama //停止oll

文章图片
#语言模型#gpt-3
异构计算卡DCU平台部署qwen2.5-instruct-7B

DCU(Deep Computing Unit 深度计算器)是 海光(HYGON)推出的一款专门用于 AI 人工智能和深度学习的加速卡。DCU也可以应用于密集型数值计算。例如:DCU Z100 32GB HBM2 PCIE 4.0 x16国产通用GPU卡* 2支持ECC,单块GPU卡显存32GB HBM2,FP64 10.8TFlops,通用计算核心8192。

#人工智能#自然语言处理
ollama+模型内网离线部署

在线机器上使用ollama提前下载好模型,将模型文件models直接拷贝到系统中,在服务文件中设置存放模型文件的环境变量即可。mv /home/models /usr/share/ollama/.ollama //替换模型文件。rm -r /usr/share/ollama/.ollama/models //删除原模型文件。sudo systemctl restart ollama //停止oll

文章图片
#语言模型#gpt-3
DeepSeek 离线本地部署两种方式以及API接入工具

基础环境:Tesla V100-PCIE-32GB *4 跑的deepseek-r1:32b量化int4,一张卡就够了1. 首先安装 Ollama,这是一款免费且开源的工具,它允许在本地运行和部署大型语言模型。Ollama 支持的操作系统包括 macOS、Linux 和 Windows,同时也支持 Docker 容器化部署。,可以在linux,mac,windows上安装2. 安装并使用 Deep

文章图片
#人工智能
DeepSeek 离线本地部署两种方式以及API接入工具

基础环境:Tesla V100-PCIE-32GB *4 跑的deepseek-r1:32b量化int4,一张卡就够了1. 首先安装 Ollama,这是一款免费且开源的工具,它允许在本地运行和部署大型语言模型。Ollama 支持的操作系统包括 macOS、Linux 和 Windows,同时也支持 Docker 容器化部署。,可以在linux,mac,windows上安装2. 安装并使用 Deep

文章图片
#人工智能
ollama+模型内网离线部署

在线机器上使用ollama提前下载好模型,将模型文件models直接拷贝到系统中,在服务文件中设置存放模型文件的环境变量即可。mv /home/models /usr/share/ollama/.ollama //替换模型文件。rm -r /usr/share/ollama/.ollama/models //删除原模型文件。sudo systemctl restart ollama //停止oll

文章图片
#语言模型#gpt-3
到底了