【大模型格式转换】将.safetensors格式转换为ollama能够本地加载的模型！！！
·
一、使用LLaMA-Factory微调的模型，导出为通用格式.safetensors，使用第三方平台ollama无法加载，需要进行格式转换！！！
二、编写大模型格式转换用的python程序（使用字节的工具Trae CN）
提示词如下，一步一步的让工具自行解决问题，直指最后完成：
我有一个大模型在本地路径E:\姚华军\人工智能_saves下面，是一个.safetensors格式的模型，ollama无法加载。你在目前的python工程的main.py中，写一个转换程序，把这个模型转换一下，让ollama能够加载。
三、自动生成一个ollama_models的目录
同时生成一个使用说明ollama_usage_guide，ollama加载是自动转换为GGUF格式
四、在ollama工执行后的结果如下
五、使用Postman调用上面加载的大模型
至此，完成！！！
更多推荐
2
0- 0
已为社区贡献4条内容
所有评论(0)