在autodl中安装的llama-factory中，为我们明确提供了将训练的checkpoint重新与大模型合并的python函数。其具体路径为：LLaMA-Factory/examples/merge_lora。修改完毕后，我们便可以利用以下代码，在终端中执行，便可以实现对应的模型合并工作。后续可以对该模型进行部署或是api的设计。

在autodl中安装的llama-factory中，为我们明确提供了将训练的checkpoint重新与大模型合并的python函数。其具体路径为：LLaMA-Factory/examples/merge_lora。修改完毕后，我们便可以利用以下代码，在终端中执行，便可以实现对应的模型合并工作。后续可以对该模型进行部署或是api的设计。

我们考虑到autodl只能映射到本地端口的话，对于其他同学的测试与调用工作非常不友好，因此我们通过策略将autodl端的模型部署到云端服务器上，以此来实现对公网IP的访问进而实现对API的调用。利用第一条提供的两个代码，即可开启对应云端服务器的端口提供公网IP访问服务端口的功能。利用cmd就可以实现，使用代码SSH root@（紧跟云端服务器IP地址）1.结合autodl自定义服务对于Linux的

FastAPI 是一个现代、快速（高性能）的 Python Web 框架，用于构建基于标准 Python 类型提示的 API。基于模型的输入json样式，向本地localhost:6006发送POST请求，发现能够正常返回模型的输出结果！2. 设置设备参数与清理 GPU 内存函数。4.创建 FastAPI 应用。5.处理 POST 请求的端点。1. 引入库和设置设备参数。3.构建对话输入模版。

我们考虑到autodl只能映射到本地端口的话，对于其他同学的测试与调用工作非常不友好，因此我们通过策略将autodl端的模型部署到云端服务器上，以此来实现对公网IP的访问进而实现对API的调用。利用第一条提供的两个代码，即可开启对应云端服务器的端口提供公网IP访问服务端口的功能。利用cmd就可以实现，使用代码SSH root@（紧跟云端服务器IP地址）1.结合autodl自定义服务对于Linux的