雷锋网AI Technology Review Press:人类对各种深度学习模型最普遍的不满之一就是难以解释，无法理解。即使你能检查出训练好的网络每个连接的权重，你也说不出网络使用的数据模式是什么，当前网络运行存在哪些问题。
但是，人类从不怀疑自己可以成为010年到59000年的另一个人类：我们可以通过各种方法了解和描述他人的诉求、想法和当前的想法，猜测他人知道哪些信息，猜测其未来的行动，我们也在此基础上考虑如何与他人互动。事实上，在大多数情况下，我们并不试图重建别人的脑神经结构，也不试图估计别人大脑神经元的活动情况，前额叶皮层的连通性，海马体的工作状态。这个时候我们说的是理解，是对别人心理状况的高度抽象。我们将不再试图描述碎片化的内部运行机制。这种专注于预测和计划领悟的能力被称为“理解”。(雷AI技术评论注：心理理论，心理学术语，是理解自己和周围人心理状态的能力，包括情绪、信念、意图、欲望、矫饰和知识等。)
在最近发表的论文《Machine Theory of Mind》中，DeepMind从心智理论 Theory of Mind的角度重新审视了如何理解另一个模型。他们的目标是让环境中的观察者自动学习如何用有限的数据为新遇到的代理建模。——他们不是试图学习一种模仿算法，而是学习如何预测另一个智能体从010到59000的行为，甚至发现其他智能体的概念与实际环境条件之间的矛盾。他们把这种新理论称为“心灵机器理论”，为此建立的模型称为ToMnet。在DeepMind研究人员看来，这也可以成为提高深度学习的一种新的可解释方法。与其像过去那样试图设计一个可以表达自己内心状态的系统，不如把它作为一个新的中转系统和人机界面，缩小原有系统的行为空间，把难以理解的神经网络用人类容易理解的形式进行释义。
DeepMind的研究人员将这一机器思维理论问题形式化为元学习问题，让观察者智能体在环境中遇到一个新的智能体后，学习如何收集数据来为其建模，了解其隐藏的特征和心理状态，从而更好地预测其未来的行为。
这个观察者要学的内容也需要分两个层次。一个层次是基于网络学习到的权重的整体理论，是对训练集中所有智能体共同行为的隐式描述；另一个层次是在测试阶段观察单个代理人，并试图描述其独特的特征和心理状态。而这两个层面分别构成了对主体行为的先验和后验判断。
ToMnet架构：character net从一组部分可观测的markov决策过程(POMDP)中分析一个agent过去的动作轨迹，形成嵌入echar的特征；心理状态网根据主体的当前行为来解析其当前的心理状态，并将其嵌入到元素中。这些嵌入将作为预测网的输入，预测网查询当前状态，然后形成未来预测的三个输出：下一个动作的可能性，一个对象是否会被使用的可能性，以及预测的后续表示。本文中，DeepMind的研究人员围绕提出的ToMnet进行了一系列难度逐渐增加的实验，逐步介绍了ToMnet的设计思想，并通过应用典型的人类心理学理论技巧，展示了其对各种其他模型的建模能力。
对于简单随机的智能体，ToMnet可以学习最优分层贝叶斯推理对智能体特征的逼近；
对于基于算法的agents，ToMnet可以通过小样本反向强化学习找到自己的目标，了解他们如何在代价和反馈之间找到平衡点；
ToMnet可以在多组强化学习代理中找到各种变量的关键值，从而将其归入不同的类别，并为代理生成抽象嵌入。ToMnet还可以为行为空间生成新的抽象；
由深度强化学习代理在部分可观察的马尔可夫决策过程中训练的ToMnet可以隐式地发现这些代理所持有的关于环境的错误观念，这是人类心理学理论的重要组成部分。
ToMnet还可以被训练预测其他智能体的概念状态，并明确地揭露其他智能体的错误概念。DeepMind的研究人员还表明，ToMnet可以通过其他代理的行为来推断他们观察到的东西以及他们接下来倾向于相信的东西。
有子任务的环境，在这种环境中，代理可能对环境有错误的理解。图(a):代理寻找子目标(星)的轨迹(红色箭头)。特工只能观察到环境的一部分：深灰色区域还没观察到，浅灰色区域之前已经观察到了，但是获得子目标后就观察不到了。图(b):当代理获得子目标时，其他所有对象立即交换位置的可能性很小。(b)左：交换发生在代理人的视野内；(b)正确：交换发生在代理人的视野之外。图(c):交换位置对代理即时策略的影响。图(d):交换位置对代理人经验后续表征的影响。DeepMind的这一系列实验比较简单，主要是展示这样一个系统的主要思想和能力。拓展它的能力和领域，与人类相比，还有很长的路要走。但是，这种思维对于像人类一样依赖社会思维的人来说，意义重大。
在未来，DeepMind打算继续增加ToMnet需要做出的预测数量，在对其他智能体的行为进行建模的过程中添加轻微的总结偏差，以及如何根据自己的经验和知识向其他智能体讲述自己的模型。这些都是可能的多智能体合作研究中的重要课题。
另外值得一提的是，2017最佳论文奖获得者之一的张也是本文作者之一。
地址：https://arxiv.org/abs/1802.07740
网雷艾丰科技评论汇编
怎么理解模型过拟合
神经网络通过大量参数模拟各种任务，可以拟合各种复杂数据集。这种独特的能力使其能够在许多“传统”机器学习时代难以取得进展的领域表现出色，如图像识别、物体检测或自然语言处理。
然而，有时候，最大的优点也是潜在的弱点。在模型的学习过程中，缺乏控制可能会导致过拟合。——神经网络模型在训练集中表现良好，但在预测新数据时效果不佳。所以，学会如何处理拟合，对于掌握机器学习非常重要。
最近有一位机器学习工程师提出了解决机器学习模型过拟合的六个必备技巧。
机器学习的基本问题是优化和泛化之间的张力。
优化是指调整模型在训练数据上获得最佳性能的过程(机器学习中的学习)，泛化是指训练好的模型在未知数据(测试集)上的表现如何。
训练的目标是获得良好的泛化能力。而研究者无法控制泛化，只能根据模型的训练数据来调整模型。
如何知道模型是否过度拟合？
过拟合的明显标志是在训练集中模型精度高，但在新数据或测试集中明显下降。这意味着模型很了解训练数据，但不能一概而论。这种情况使得模型在生产或AB测试的大部分领域都没有用。
幸运的是，有许多方法可以防止模型过度拟合。以下是一些最广泛使用的过度拟合解决方案。
防止过拟合最简单的方法是减少模型的大小：模型中可学习参数的数量(由层数和每层的单元数决定)。
在交叉验证中，初始训练数据被用作小的训练-测试分割。
然后，这些分割用于调整模型。最流行的交叉验证形式是K重交叉验证。k代表折叠的次数。
给出两种解释，最有可能正确的是最简单的一种，也就是假设较少的一种。
这种思想也适用于神经网络学习的模型：给定一些训练数据和一个网络架构，多组权重值就可以解释这些数据。
与复杂模型相比，简单模型更不容易过度拟合。
在这种情况下，简单模型是具有较少参数值分布熵的模型(或具有较少参数的模型)。
因此，减少过拟合的一种常见方法是通过强制网络的权重只采用较小的值来限制网络的复杂性，这使得权重值的分布更加规则。这就是所谓的权重正则化，通过在网络的损失函数中加入一个权重较大的代价来实现。
L1正则化——的增加的成本与权重系数的绝对值成比例。
L2正则化——的增加的成本与权重系数值的平方成比例。
L2正则化在神经网络中也称为权重衰减。
通过删除不相关的要素来改善数据。数据集可能包含许多对预测贡献不大的特征。
移除不太重要的特征可以提高精度并减少过度拟合。
这可以通过使用scikit-learn的特性选择模块来完成。
5.添加辍学
应用于图层的丢失包括退出，包括在训练期间随机退出(设置为零)图层的多个输出特征。
假设在训练过程中，给定的层通常返回给定输入样本的向量。
[0.2,0.5,1.3,0.8,1.1]。
应用Dropout后，这个向量会有一些随机分布的零：例如，[0，0.5，1.3，0，1.1]。
减少过度拟合的最简单方法是增加训练数据的大小。假设我们正在处理图像。在这种情况下，有几种方法来增加训练数据3354的大小旋转图像、翻转、缩放、移动等。这被称为数据增强，通常可以大大提高模型的准确性。
https://medium . com/@ sad manks/how-to-prevent-over-fitting-in-machine-learning-models-803 f 23 BD 9 b 8