迁移学习

Learn one point and use it in many projects

Posted by xu on October 2, 2018

我们在处理小样本材料的时候,怎么样才能做到和训练数千万的样本相同的效果呢,现在我们有一个叫做迁移学习的思想来解决小样本问题!

又引入一次我在大创申请里面写的

基于ImageNet的迁移学习。ImageNet是由斯坦福大学的李飞飞教授带头创建的深度学习图片库,提供了超过1000种常见图片的分类。超过1400万的图像URL被ImageNet手动注释。我们将使用VGG或者GoogleNet等已经被大家广泛使用的图像处理的深度网络对ImageNet数据库进行预训练,使其在数千万级别的图像中得到一个可靠稳定的分类效果。此时的深度学习网络已经学习到了在不同的物体之间辨识关键特征的能力。据一般经验来说,此网络的浅层参数可以识别图像的线条,明暗,色差等基本特征,中层参数则可识别更高维度的特征,比如长方形的轮廓,反光度等等。到最高层则可识别到物体本身的特征,比如眼睛和玻璃珠的区别。此时,我们对网络的后部分参数进行重新学习,使其在充分学习到了浅层特征(如轮廓,明暗,线条,颜色,轮廓等等)之后再学习基础的医学超声波影像图像。这样,该网络就能在医学图像资源来之不易的情况下进行通用大数据集到专用小数据集的迁移学习。根据迁移学习的处理经验,该网络的识别能力与训练数千万张医学图像的网络识别能力基本相同

那么在我们的实现中主要就是finetune啦,对于’迁移学习’的基础应用,其实是一个非常简单的技巧,但我们把它给高大上化罢了