现在CPU的核心数越来越多，即使现在的移动平台也是动辄4核起。前面的代码都是用单线程来运行的，所以只用到了CPU的一个核心。接下来尝试一下利用ISPC多任务机制来利用CPU的多核加速。ISPC代码从单核到多核的优化在ISPC的开发手册里，最简单的多任务机制用到了2个关键字 launch和task在一个函数前面加关键字task，标识这个函数是任务函数，可以在其他代码里通过launch语句来启动。任务

前面把原始的C代码转成了ISPC可编译的C代码，其中image_rotate_double_ispc函数里面的数据都是基于double双精度来运算的。我的电脑是支持AVX/AVX2指令集的，所以一次可以并发做4个double浮点的运算，理论上可以提升4倍的算力。通过ISPC的编译，实际获得了3.7倍的性能加速。从上图YMM寄存器的宽度和浮点数据的宽度来看，YMM寄存器可以一次做8个单精float型

通过学习sample代码里main函数的流程和注释，Benchmark_app的实现流程整理如下benchmark支持CPU/GPU/NCS计算棒等多种硬件的单独使用推理和混合使用推理。具体的命令参数是CPU推理./benchmark_app -m <model> -i <input> -d CPUGPU推理./benchmark_app -m <...

一切不结合实践的理论文章都是耍流氓！！！所以这里学习MKL-DNN的最终目的是把mkldnn放到一个实际的超分辨率推理应用中去做加速。这里我选中了下面这篇文章的DRRN模型推理加速来做我这次学习的最终目的纯C++超分辨率重建DRRN --改编DRRN的网络架构如下（图片来自DRRN的论文， 地址 http://cvlab.cse.msu.edu/pdfs/Tai_Yang_Liu_CV...

很久以前就看了这么一篇文章 "使用英特尔®GPU的性能调优达到153帧MobileNet-SSD目标检测"， 作者是在Intel CPU的集成显卡上实现的。一直想亲手实践一下，无奈这些年患了很严重的拖延症和懒癌。最近病情有所好转，索性努力研究一下。首先安装VS2017, 接着从官网下载安装最新的openvino版本2019 R3. 按照官网的Install Intel® Distribu...

直接上2019R3和2020R2的性能对比，测试平台Intel i5-7440HQ,Win10 1709GPU驱动 26.20.100.7812 发布日期1/21/2020利用OV自带的benchmark测试,测2种情况最小延迟 (尽可能快的处理单幅图片)benchmark_app.exe -nireq 1 -nstreams 1 -b 1 -m mobile...

OpenVINO号称支持CPU INT8的推理已经好久了Introducing int8 quantization for fast CPU inference using OpenVINO号称在mobilenet-ssd上 i7-8700能有1.36X的性能提升。但是前几个版本的calibration tool的变化实在太大了，从native C++变成python tool, 再到现在的D..

MKL-DNN优化技术里，有一个很重要的技术就是层融合（Layer Fusion）所谓的Layer fusion, 就是把好几层的计算合并成一层的操作里，例如下图左边的计算一共包含了3层Convolution+Sum+ReLU, 每层之间都包含了输入数据和输出数据的读写。通过读取观察每层输出的数据，我们也可以知道神经网络每层到底做了些什么，但是实际应用中我们只关心神经网络最开始的输入数据和最终..

前一阵尝试了一下OpenVINO纯GPU处理的代码实现, 主要复现了OpenVINO官方文档Remote Blob API of GPU Plugin 中的 OpenCL Kernel Execution on a Shared Buffer例子基本实现具体可以参考这篇文章 OpenVINO 2020r3 体验GPU Remote Blob API在代码里，把OpenVINO clDNN的cl::

我的Intel SSD 540S意外掉盘了现象是BIOS中可以识别到盘的型号，但是用Windows安装U盘安装系统时无法识别盘进行安装，作为从盘接入电脑后，冷启动无法开机。通过USB作为U盘接入windows时不显示盘符，win10自带的 disk manager无法删除分区。Win10启动diskpart工具时程序无响应，看上去是卡在了磁盘识别的部分. 试图用Intel...