元学习
机器之心版本
元学习的思想是学习「学习（训练）」过程。
元学习有好几种实现方法，不过本文谈到的两种「学习『学习』过程」的方法和上文介绍的方式很类似。 在我们的训练过程中，具体而言，可以学习到两点：
- 神经网络的初始参数（图中的蓝色■）；
- 优化器的参数（粉色的★）。
我会介绍将这两点结合的情况，不过这里的每一点本身也非常有趣，而且可获得到简化、加速以及一些不错的理论结果。 现在，我们有两个部分需要训练：
- 用「模型（M）」这个词来指代我们之前的神经网络，现在也可以将其理解为一个低级网络。有时，人们也会用「优化对象（optimizee）」或者「学习器（learner）」来称呼它。该模型的权重在图中用 ■ 表示。
- 用「优化器（O）」或者「元学习器」来指代用于更新低级网络（即上述模型）权重的高级模型。优化器的权重在图中用 ★ 表示。
维基百科版本
元学习最初由Donald B. Maudsley（1979）描述为“学习者意识到并且越来越多地控制他们已经内化的感知，探究，学习和成长习惯的过程”。Maudsely将他的理论的概念基础设定为在假设，结构，变革过程和促进的标题下合成。阐述了五个原则以促进元学习。学习者必须：
- 有一个理论，无论多么原始;
- 在安全的支持性社会和物质环境中工作;
- 发现其规则和假设;
- 重新与环境中的现实信息联系起来;
- 通过改变其规则/假设来重组自己。
John Biggs（1985）后来使用元学习的概念来描述“意识到并控制自己的学习”的状态。您可以将元学习定义为对学习本身现象的认识和理解，而不是学科知识。这个定义隐含着学习者对学习环境的感知，包括了解学科的期望是什么，更简单地说，是对特定学习任务的要求。
在这种背景下，元学习取决于学习者的学习观念，认识论信念，学习过程和学术技能，在此总结为一种学习方法。具有高水平元学习意识的学生能够评估她/他的学习方法的有效性，并根据学习任务的要求对其进行管理。相反，元学习意识低的学生将无法反思她/他的学习方法或学习任务集的性质。因此，当学习变得更加困难和苛刻时，他/她将无法成功适应。