快速体验

  1. 打开 InsCode(快马)平台 https://www.inscode.net
  2. 输入框输入如下内容
    帮我开发一个Linux环境离线安装Ollama的配置工具,帮助开发者解决无外网环境的安装问题。系统交互细节:1.自动识别CPU架构 2.下载离线安装包 3.修改安装脚本路径 4.配置环境变量 5.设置外网访问。注意事项:需提前准备对应架构的安装包。
  3. 点击'项目生成'按钮,等待项目生成完整后预览效果

示例图片

  1. 环境准备阶段 在开始安装前需要确认服务器CPU架构,通过lscpu命令查看是否为x86_64或arm64架构。不同架构需要下载对应的安装包版本,这是后续操作的基础。同时要确保有足够的存储空间存放模型文件,建议预留至少20GB空间。

  2. 离线包获取与上传 从GitHub releases页面下载对应版本的ollama-linux安装包,注意要选择与CPU架构匹配的版本。将下载的安装包和install.sh脚本上传到服务器/home目录,这个目录通常具有足够的读写权限,适合作为临时工作区。

  3. 安装脚本修改要点 需要修改install.sh脚本两处关键配置:注释掉原有的在线下载命令,改为使用本地已下载的安装包;修改安装目录指向,确保安装路径正确。这两处修改是离线安装成功的关键,需要仔细核对路径和权限设置。

  4. 权限与执行问题处理 执行脚本时可能遇到权限不足问题,需要通过chmod添加执行权限。如果出现格式错误,需要使用sed命令处理Windows换行符问题。这些细节问题往往会成为安装过程中的绊脚石,需要特别注意。

  5. 模型存储配置优化 默认模型存储路径在系统目录,可能空间不足。通过设置OLLAMA_MODELS环境变量可以自定义模型存储位置,建议选择空间充足的分区。同时要将原有模型文件复制到新位置,确保模型加载正常。

  6. 服务化与多卡支持 通过systemd将Ollama配置为系统服务,实现开机自启和稳定运行。对于多GPU环境,可以配置CUDA_VISIBLE_DEVICES环境变量指定使用的显卡,充分发挥硬件性能。

  7. 外网访问配置 默认只能本地访问,通过修改服务文件和环境变量OLLAMA_HOST,将监听地址改为0.0.0.0并指定端口,可以实现外网访问。配置后需要重新加载服务使改动生效。

示例图片

InsCode(快马)平台上可以快速验证这些配置,平台提供干净的Linux环境用于测试,无需担心污染本地系统。实际操作中发现其预装工具齐全,特别适合验证安装脚本的兼容性问题。对于需要长期运行的模型服务,平台的一键部署功能可以免去环境配置的烦恼,直接获得可访问的演示地址。

Logo

免费领 200 小时云算力,进群参与显卡、AI PC 幸运抽奖

更多推荐