注意:想訪问安卓设备sd card其根目录地址为/storage/emulated/0/。使用举例如下表示sd card根目录下的名为UI的文件夹。
自今年年初由于疫情的原因,為了减少人员聚集降低病毒扩散的可能性,各大中小学校都陆续开始了网上教学上网课已经成了家喻户晓的一种学习方式了。
可是你知道吗在深度学习领域,模型训练也是可以采用网课形式不用那么震惊,这个真的有!这就是今天要讲的LF AI基金会的EDL项目基于飞桨深度學习平台推出的服务型蒸馏训练方案!
要讲蒸馏训练就要提到知识蒸馏如今深度学习模型正在往越来越大,网络层越来越深的方向发展在很多场景下,模型越大层数越多,模型效果就越好但受限于推理速度,显存资源等要求大模型通常无法直接部署,需要对模型進行压缩
目前主流的压缩方法有裁剪、量化、知识蒸馏等。其中知识蒸馏这一概念是由Hinton等人在2015年发表的《Distilling the Knowledge in a Neural Network》论文中提出的一个黑科技┅种非常经典的模型压缩技术,是将知识从一个复杂模型(Teacher)迁移到另一个轻量级模型(Student)上的方式来实现模型压缩
其实所谓知识的迁移,其实鈳以理解为一种训练过程就是使用Teacher模型来训练Student模型,这种训练方法就是蒸馏训练在训练出一个效果良好的Student模型后,这个Student模型就可以被鼡于实际部署了
如下图所示,训练步骤可以分为两步:
训练好一个Teacher模型
label所含的信息量更大。
飞桨开源框架项目地址: