pytorch模型部署
·
大规模部署PyTorch模型需要额外的功能，如打包模型、配置运行时环境，公开API端点、记录和监控以及管理多个模型版本。
| Python API | 执行快速原型设计、培训和实验； 程序 Python 运行时。 |
| TorchScript | 提高性能和可移植性（例如，加载和运行 C ++中的模型）；编程非 Python 运行时或严格的延迟 和性能要求。 |
| TorchServe |
一个快速的生产环境工具，具有模型存储、A/B 测试、监控 |
| tensorRT | nvidia ,GPU上做inference |
| libtorch | pytorch的C++版本，支持CPU端和GPU端的部署和训练 |
| ONNX |
部署到具有 ONNX 运行时或 FPGA 设备的系统 |
| tengine | 阿里基于 nginx修改 |
| Mobile libraries |
部署到 iOS 和 Android 设备 |
（1）app：
reference：
免费领 150 小时云算力，进群参与显卡、AI PC 幸运抽奖
更多推荐
0
0- 0
已为社区贡献1条内容
所有评论(0)