【代码】本地ollama大模型接入沉浸式翻译。

5.安装torch torchvision torchaudio。7. 如果您的设备支持fp16或bf16，我们建议安装。）以获得更高的效率和更低的内存占用。3.进入Qwen-7B文件，下载模型。3.进入Qwen-VL文件，下载模型。6.安装A卡版本auto-gptq。1.创建conda虚拟环境。1.创建conda虚拟环境。

默认已经帮我们配置好了环境变量、网络，装好了python甚至pytorch、tensorflow等等，所以这些正常比较麻烦的操作已经不需要我们再搞了。有多文件需要修改变量路径，把默认的“THUDM/chatglm3-6b”修改为“/mnt/workspace/ChatGLM3/chatglm3-6b”因为模型很大（总共11.6GB），所以从modelscope上git下载（放到ChatGLM3下级

【代码】ollama本地运行llama3:70b模型（Linux）

【代码】本地ollama大模型接入沉浸式翻译。

【代码】ollama本地运行llama3:70b模型（Linux）