玩本地化部署大模型，最令人头疼的就是环境的搭建。经过博主2个月的努力，踩了无数的坑，终于搞定本地部署的流程。包括使用unsloth模型微调，模型导出，ollama加载自己的微调模型。最后还琢磨了如何进行离线升级ollama、dify。特别适合需要离线部署，甚至需要内网部署和升级的应用需求。接下来我将从Ubuntu系统安装完成开始一步步讲解。