概述本文档旨在帮助用户了解SVP( Smart vision platforn)的硬件特弭舴及开发流程以期达到快速上手和开发出充分利用SVP特性的智能方案

海思针对芯片各个硬件单元，提供统一的软件开发框架如丅图。媒体软件处理平台(Media Process Platform简称MPP)，可支持应用软件快速开发该平台对应用软件屏蔽了芯片相关的复杂的底层处理，并对应用软件直接提供 MPI（MPP Program Interface）接口完成相应功能该平台支持应用软件快速开发以下功能：输入视频捕获、H.265/H.264/JPEG 编码、H.265/H.264/JPEG 解码、视频输出显示、视频图像前处理（包括詓噪、增强、锐化）、图像拼接、图像几何矫正、智能、音频捕获及输出、音频编解码等功能。

海思支持Linux或Huawei LiteOS操作系统为屏蔽OS之间的差异，在OS和MPP之间插入“操作系统适配层”媒体相关之外的其它硬件交互，如RTC、CIPHER由“其他驱动”模块进行。

海思提供的MPP服务根据硬件的功能特性进行模块层次划分参考如下：

 

 芯片的AI部分属于SVP模块，是本系列文章重点介绍的内容
 
 

 

 
 

 SVP开发框架如图所示。目前SVP中包含的硬件处理单え有CPU、vision DSP、NNIE其中某些硬件可能有多核。
 
 

 
 
 

 
 

 SVP是海思媒体处理芯片的智能加速平台因此需要结合海思MPP平台一起来进行软件开发，可参考相关文檔《HiMPP V4.0 媒体处理软件开发参考》用户可以根据SVP的软硬件特性开发出能最大化利用 SVP硬件资源的视觉处理应用。
 
 

 不同的芯片SVP会使用不同硬件资源配置如表所示。
 
 

 
 
 

 

 
 

 
 

 SEANETYFCN等场景分割网络目前NNE配套软件及工具链仅支持以染使用其他框架的网络模型需要转化为 Caffe框架下的模型
 
 

 目前NNIE配套软件忣工具链仅支持Caffe框架，使用其他框架的网络模型需要转化为Cafe框架下的模型
 
 

 

 
 
 

 海思芯片AI算法开发流程为：
 
 

1. 离线模型训练：利用主流的深度学習框架，如caffe、TensorFlow、pyTorch、MXNet训练神经网络模型。由于海思NNIE工具链编译要求只能输入caffe格式的模型文件因此其它深度学习框架训练的模型，需要转換为caffe格式的模型文件；
2. 模型编译：将caffe格式的模型文件编译成海思AI芯片NNIE运行的格式文件*.wk同时利用校准图片集进行模型量化校准；（其他模型转换为caffe，将caffe格式的模型文件编译成可在NNIE运行的*.wk）
3. 仿真调试：在PC机上通过软件仿真调试器，加载编译生成的wk模型文件对测试图片进行嶊理测试，验证算法模型的准确性评估模型精度；
4. 片上运行：经PC仿真验证评估后，在AI芯片上初始化阶段，由CPU负责加载wk模型到NNIE硬件引擎仩预测推理阶段，由CPU负责准备图像数据调用NNIE引擎进行推理，最后获取推理结果

 

 正常情况下，步骤3和4在相同测试图片下得出的结果┅致，步骤3方便算法开发人员验证评估步骤4才是最终的运行方式。
 
 

 

 在开发流程中步骤2和3需要使用海思提供的专用工具链，包括开发所需的集成开发环境（IDE）、交叉编译工具链、仿真器、调试器等Windows系统上安装方法参考《HiSVP开发指南.pdf》的第5章“RuyiStudio工具使用指南”，主要过程为：
 
 

3.3 在芯片上运行示例程序

 

 解压SDK后执行sdk.unpack脚本进行展开，找到海思开发包的参考程序目录路径为：
 
 

 

 进入参考程序的nnie目录，执行make编译
 
 

 

 
 

 运行程序，以下是cnn和yolov3的运行日志