在windows平台上用ollama来快速的感受下本地AI大模型
AI正日渐成为当前最热门的话题。除了那个让人惊掉下巴的ChatGpt外,还有很多开源的大模型项目。但这些项目的安装非常繁琐,现在国外有人作了一个安装配置这些大模型的项目,ollama,可以让你在本地电脑上轻松安装运行大模型。记得2024年初时,同事为在项目中使用开源的大模型,各种尝试,努力,终于运行了起来。现在ollama把这个繁琐的过程变得简单化了。访问https://ollama.com/download,下载windows版,即可在大家所熟悉的windows平台上轻松安装起来,并进一步轻松安装各种大模型。如果你要把大模型安装到C盘下,只需按默认配置安装ollama即可。但建议把大模型安装到其它盘,只需要在环境变量中添加OLLAMA_MODELS环境变量即可。关于ollama的安装,大家可以参考下这篇文章: Ollama一个简明易用的本地大模型运行框架,只需一条命令即可在本地跑大模型_Raycast_用户_功能
在ollama安装成功后,大家就可以在windows的命令行模式下,运行ollama run qwen:7b,第一次运行,会自动安装qwen:7b的大模型,qwen:7b是国内阿里出品的一个对系统资源要求较少的大模型。我的电脑是16G内存,i5 CPU,集成显卡,都能正常运行。
在安装和启动qwen:7b后,就可以在命令行模式下进行问答了。
这时,大家还可以安装open-WebUI来对其进行图文访问。可是安装这个open WebUI可比安装ollama麻烦多了。好在ollama也支持openai,我的下篇文章,将说明用openai的c++来访问ollama的方法。
这里放上一个本人用QT5写的演示软件,方便大家在成功安装ollama和qwen:7b后,快速的体验一下AI的魅力。
更多推荐


所有评论(0)