之前分享了哪吒开发板Ubuntu22.04系统的安装和基于OpenVINO(C++)推理Transformer模型的过程，这篇文章分享一下如何通过OpenVINO™ Model Server将模型部署在开发版上。 OpenVINO™ Model Server OpenVINO™ Model Server(OVMS)是一个高性能的模型部署系统，使用C++实现，并在Intel架构上的部署进行了优化，

上篇文章分享了哪吒开发板的开箱和Ubuntu22.04系统的安装，这篇文章将分享一下我使用哪吒开发板在iGPU上使用OpenVINO(C++)推理Transformer模型的过程。 OpenVINO配置 在OpenVINO官网下载linux版本的压缩包到开发板上将压缩包解压 tar -zxvf l_openvino_toolkit_ubuntu22_2024.3.0.

7月底在我颜导的群里看到了2024 Intel®“走近开发者”互动活动，刚好最近项目在尝试使用OpenVINO进行部署，便申请了一张哪吒开发板试用，提交申请一两周收到官方初选通过的邮件，三天后开发板就通过顺丰快递到了我的手上，速度还是很快的。 开发板介绍 哪吒（Nezha）开发套件以信用卡大小&#xf