NVIDIA TensorRT™ 是用于高性能深度学习推理的 SDK，可为深度学习推理应用提供低延迟和高吞吐量。基于 NVIDIA TensorRT 的应用程序在推理过程中的执行速度比仅使用 CPU 的平台快 36 倍，使开发人员能够优化在所有主要框架上训练的神经网络模型，以高精度校准以降低精度，并部署到超大规模数据中心、嵌入式平台或汽车产品平台。

该项目通过手写数字识别实现简单的深度学习模型训练实现，充分认识深度学习项目构建过程，提供Matlab以及Python实现版本。手写数字识别是指给定一系列的手写数字图片以及对应的数字标签，构建模型进行学习，目标是对于一张新的手写数字图片能够自动识别出对应的数字。图像识别是指利用计算机对图像进行处理，通过模型对其分析和理解，得到图片文件中所写的数字。在人工智能领域，手写数字识别被问题转换为自动分类问题

2024 Intel®“走近开发者”互动活动-哪吒开发套件免费试用AI创新计划：哪吒开发板是专为支持入门级边缘AI应用程序和设备而设计，能够满足人工智能学习、开发、实训等应用场景。为了测试该开发板的推理性能，同时测试所推出的OpenVINO™ C# API项目能否应用到该开发板上，我们使用该开发板，结合OpenVINO™ C#

但是在实际使用中，由于涉及到不同编程语言之间互相调用，导致C++ 中的OpenCV与C#中的OpenCvSharp 图像数据在不同编程语言之间难以有效传递。在本文中我们将结合OpenCvSharp源码实现原理，探究两种数据之间的通信方式。

OpenCvSharp是一个OpenCV的 .Net wrapper，应用最新的OpenCV库开发，使用习惯比EmguCV更接近原始的OpenCV，该库采用LGPL发行，对商业应用友好。

目前TensorRT无法直接在C#调用函数接口实现模型部署，此处利用动态链接库功能，构建TensorRTSharp，实现C#部署模型。

在深入参与开源项目的过程中，我也广泛参考了网上的一些成功项目经验，得到了无数宝贵的经验和技能提升，这使得我的技术层次上升到了全新的高度。经过两年的探索与实践，技术能力得到了显著的提高，而更重要的是，我的努力得到了越来越多人的认可和支持，从而扩大了我在技术社区的影响力。时值我开展开源项目的两周年，有机会整理与分享我从一个技术新手逐步成长到拥有自己开源项目的经验与感想。我希望我的分享能为刚刚踏入开源领

在做视觉任务时，我们经常会用到开源视觉库OpenCV，OpenCV是一个基于Apache2.0许可（开源）发行的跨平台计算机视觉和机器学习软件库，它具有C++，Python，Java和MATLAB接口，并支持Windows，Linux，Android和Mac OS。最近在项目中，我遇到了在MacOS上使用OpenCV需求，目前OpenCV官网上并没有提供OpenCV现成的安装包，因此在此处我们需要

TensorRT支持多种模型文件，不过随着onnx模型的发展，目前多种模型框架都将onnx模型当作中间转换格式，是的该模型结构变得越来越通用，因此TensorRT目前主要在更新的就是针对该模型的转换。TensorRT是可以直接读取engine文件，对于onnx模型需要进行一些列转换配置，转为engine引擎才可以进行后续的推理，因此在进行模型推理前，需要先进行模型的转换。

OpenVINO™是一个用于优化和部署深度学习模型的开源工具包，是英特尔基于自身现有的硬件平台开发的一种可以加快高性能计算机视觉和深度学习视觉应用开发速度工具套件，用于快速开发应用程序和解决方案，以解决各种任务（包括人类视觉模拟、自动语音识别、自然语言处理和推荐系统等）。官方发行的OpenVINO™未提供C#编程语言接口，因此在使用时无法实现在C#中利用OpenVINO™进行模型部署。