1.打anconda  prompt  conda 创建 名为cuda11_3_torch_1_12_1_windows的虚拟环境

conda create -n cuda11_3_torch_1_12_1_windows python=3.9.21

 2.激活该环境

conda activate cuda11_3_torch_1_12_1_windows

3.安装opencv_python 的版本为4.7.0.72

pip install opencv-python==4.7.0.72

进入python命令行验证环境

Import cv 2 as cv

cv.__version__

4.conda直接安装 cudatoolkit  torchaudio  torchvision pytorch四个包

如此安装方式安装CUDA11.6的好处是可以将CUDA版本与系统中CUDA版本就行隔离。

conda install pytorch==1.12.0 torchvision==0.13.0 torchaudio==0.12.0 cudatoolkit=11.6 -c pytorch -c conda-forge

进入python命令行验证环境

import torch
print(torch.__version__)       # 应输出 1.12.0
print(torch.version.cuda)       # 应输出 11.6 或相关的 CUDA 版本信息
print(torch.cuda.is_available())  # 应输出 True (表示 GPU 可用)

 5.安装openvino

pip install openvino==2023.0.0

OpenVINO (Open Visual Inference & Neural Network Optimization) 是由 Intel 开发的一个软件平台，它旨在为 AI 模型的推理（inferencing）提供高效的计算加速。这个平台允许开发者和数据科学家将已经训练好的神经网络模型部署到多种硬件设备上，包括 Intel CPU、GPU、FPGA 和边缘计算设备。

OpenVINO 提供了以下功能：

1. 类型转换和优化：支持将常见的深度学习模型格式（如 TensorFlow, Caffe, MXNet 等）转换为 OpenVINO 特定的中间表示（IR），并针对目标硬件进行优化。

2. 跨平台性：允许在多种硬件设备上运行，包括笔记本、工作站、服务器和边缘设备。这使得 AI 应用可以在不同的计算环境中高效地执行。

3. 开发工具：提供了一系列工具来帮助模型优化、部署和评估。如 Model Optimizer 和 Inference Engine，它们分别用于模型的转换与优化及运行时推理。

4. 高效推理：通过硬件加速和算法优化，OpenVINO 能够提供快速且低延迟的推理性能。

5. 集成开发环境支持：与主流 IDE 和 AI 工具链（如 TensorFlow、PyTorch）进行了良好集成，方便用户使用现有工具和流程来部署模型。

总体而言，OpenVINO 旨在简化 AI 模型从开发到部署的过程，并提高其跨多种硬件设备上的执行性能。

 6.安装pip onnxruntime-gpu

pip install openvino==2023.0.0

ONNX Runtime 是一个跨平台、高性能的机器学习推理和训练引擎，专为优化 ONNX（Open Neural Network Exchange）格式模型的部署和执行而设计。以下是根据搜索结果整理的全面介绍：

🔍 一、核心功能与优势

1. 跨框架兼容性
   ONNX Runtime 支持由 PyTorch、TensorFlow/Keras、scikit-learn、XGBoost 等主流框架导出的 ONNX 模型139 ，解决了不同框架模型部署时的环境依赖问题。
2. 高性能推理
   • 通过硬件加速（CPU/GPU/NPU）和内核优化，显著提升模型推理速度。例如：
     • GPU 推理：实测 ResNet 等模型推理速度可提升 10 倍以上4 。
     • 动态形状支持：适配可变输入尺寸（如不同分辨率图像）3 。
   • 支持 TensorRT、OpenVINO 等后端加速引擎进一步优化性能412 。
3. 多语言与跨平台支持
   • 编程语言：提供 Python、C++、C#、Java、JavaScript 等 API69 。
   • 运行平台：支持 Windows/Linux/macOS 系统及 iOS/Android/Web 端910 。