迁移学习的简要介绍

在机器学习领域，迁移学习(Transfer learning)是一个比较新的名词。目前国内做这个方面的很少，我目前只知道香港科技大学杨强教授及上海交大的机器学习小组在从事这方面的研究，近几年他们已经取得大量的成果，发表了十几篇AI领域顶级的会议论文，着实让我崇拜不已。接下来的研究生活，偶希望能循着他们的足迹慢慢摸索！Qiang Yanghttp://www.cse.ust.hk/~qyan

迁移学习（Transfer Learning）是机器学习中的一种方法，它允许我们将从一个任务中学到的知识应用到另一个相关但不同的任务中。就像人类能够将学习骑自行车的经验应用到学习骑摩托车上一样，迁移学习让AI模型也能实现类似的"经验迁移"。传统机器学习方法通常假设训练数据和测试数据来自相同的分布，并且每个任务都是独立学习的。而迁移学习打破了这一限制，使得知识可以在不同但相关的领域间传递。迁移学习已成为现代AI系统开发的核心技术之一，它通过利用已有知识来解决新问题，大幅降低了AI应用的门槛。

本文转自： http://hi.baidu.com/jiyeqian/blog/item/8926e81770f16f0b4 在传统的机器学习的框架下，学习的任务就是在给定充分训练数据的基础上来学习一个分类模型；然后利用这个学习到的模型 来对测试文档进行分类与预测。然而，我们看到机器学习算法在当前的Web挖掘研究中存在着一个关键的问题：一些新出现的 领域中的大量训练数据...

假设源领域和目标领域的图像特征和标签之间的条件概率分布是相同的，即 Qs(ys∣xs)=Qt(yt∣xt)。在这种情况下，源领域和目标领域的数据分布就是不同的，源领域的图像背景和光照条件的分布与目标领域中的背景和光照条件的分布不同。这就是所谓的边缘分布不同。在迁移学习中，边缘分布通常表示的是数据的特征的统计分布，它可以表示为 P(Xs)或P(Xt)，即源领域和目标领域中输入特征X的分布。：源领域和目标领域的数据都是图像，因此它们的特征空间是相同的，即Xs​=Xt​，都包含图像的像素特征。

深度神经网络，相比于之前的传统机器学习方法，可以看成是一个全新的物种，这背后的原因，最明显的还是深度学习对机器算力的巨大需求，在深度学习入门最少需要知道什么？中介绍了深度学习所需的显卡资源，而当前大内存的机器不贵，而高性能，大显存的显卡就没那么便宜了。这使得使用深度学习去处理实际生活中遇到的问题，例如图像和语音的识别时，需要消耗大量的资源。而迁移可以改变这一切，显著的降低深度学习所需的硬件资源。