实践课（二）：Intro to meta-learning

意义

目前的机器人其实最最底层的控制已经可以满足需要，但是比底层控制高一些的行为决策才是最困难的问题。所谓的机器人学习，也就是要在机器人上实现智能决策，使机器人能够通过学习去完成各种任务。

由于深度增强学习本身固有的缺陷（需要巨量的trial and error），使得仅仅用深度增强学习很难真正应用到实际的机器人中。在深度增强学习的大框架下，我们还需要：

1. 终生学习Life Long Learning
2. 少样本学习Few Shot Learning
3. 多任务学习Multi Task Learning
4. 多智能体学习Multi Agent Learning
5. 学会学习Meta Learning/Learning to Learn
6. 迁移学习Transfer Learning

也就是说，从机器人的角度，我们希望机器人能够实现的智能决策需要具备以下几点：

1. 能够不断通过与环境交互来学习提升决策能力，也就是终生学习
2. 能够快速学习，面对新的任务，可以通过少量的训练就掌握
3. 可以处理多种任务
4. 可以实现多智能体的协作完成任务
5. 能够学会学习，这和快速学习本质是一样的，就是发现学习规律，面对新任务可以快速入手
6. 这也和快速学习的目标一致，希望通过迁移以往学习的经验来加速新任务的学习。

从人类的基因来看，我们人刚出生时什么都不懂，但是我们的基因给予了我们一个初始化的大脑，这个大脑什么都不知道，但它知道去学习。因此，如何让人工智能能够具备快速学习的能力成为现在的前沿研究问题。

快速学习能够让每个人拥有的人工智能系统都不一样！ 所谓的通用人工智能就是要让人工智能能够只用同一套算法学习掌握各种各样的任务，而不是单一任务从头训练。因此，通用人工智能必须具备快速学习能力。

方法

• graph-based methods
• memory-based methods
• 基于预测梯度
• attention-based
• 借鉴Reinforcement learning
• 通过训练一个好的base model的方法，并且同时应用到监督学习和增强学习

…

参考

机器人革命与学会学习Learning to Learn
最前沿：百家争鸣的Meta Learning/Learning to learn