换句话说，我们的模型一定是要经过样本数据对其进行训练，才可以对未知数据进行预测的。可想不是的，如果模型对原先的数据进行预测，由于模型本来就是从该数据中获取的，所以预测的精度几乎会是百分之百。所以想要评估模型的好坏，需要使用一组新数据对模型进行评估。需要从网

十六、使用 RNN 和注意力机制进行自然语言处理

　　对于一个样本集，假定聚类数为3，算法开始，随机选取三个样本作为初始均值向量，计算所有数据样本与这三个样本的距离，根据最短距离的原理将当前所有数据样本划分为三个簇。从当前计算的三个簇中计算新的均值向量，更新初始的三个样本均值，并遍历所有样本数据，计算所有

在传统的机器学习中，模型集成融合有stack,投票等方式，在深度学习中，竟然也可以使用模型集成融合，这让我学到了很多，下面就将这些方法进行一下罗列记录，方便日后思考学习：。droupout经常用作防止模型拟合来使用，但是由于其对其中某些节点能够进行随机停止

随机森林是非常具有代表性的Bagging集成算法，它的所有基评估器都是决策树，分类树组成的森林就叫做随机森林分类器，回归树所集成的森林就叫做随机森林回归器。这一节主要讲解RandomForestClassi?er，随机森林分类器。这些参数在随机森林中的含义

正则化的目的是为了防止过拟合，降低模型的复杂度。式中，是一个常数，为样本个数，是一个超参数，用于控制正则化程度。设置一个超参数 keep_prob，比如将 keep_prob 设置为 0.7，那么就会随机30%的节点消失，消失这个动作其实很简单，只是将这一

去除不相关的特征，可以降低学习任务的难度，只留下关键特征，往往可以更容易看清真相。从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是密切相关的。由于我们一般不会直接使用原始数据，所以就要进行特征选择；特征选择就是从多个特征中选择部分特

在Ubuntu中，自带python 可通过命令 版本为 输入命令一般下载的都是最新版的 。进入安装路径后修改python指定版本输入命令可以查看指定版本。接着输入命令移除默认版本。接着测试下，看是否指定的是python3.6，可直接输入查看

Google 近日发布了 Quantification Aware TrainingAPI，使开发人员可以利用量化的优势来训练和部署模型 AI 模型。通过这个 API，可以将输入值从大集合映射到较小集合的输出，同时，保持接近原始状态的准确性。谷歌新发布的

什么是机器学习？定义是从数据中寻找关系f，在新数据中根据f做出预测。我认为机器学习根基就是大数定律，在一部分数据寻找得规律可以一定程度反映出全局数据得特性。向梯度的反方向以规定的步长去寻找极小点。z1,z2,z3,z4,z5相当于x1,x2组合出来的新特征

集成学习本身不是一个单独的机器学习算法，是通过构建并结合多个机器学习器来完成学习任务的思想。通常的集成学习的方法指的是同质个体学习器。同质个体学习器使用最多的模型是CART决策树和神经网络。

2、用自己的话总结“梯度”，“梯度下降”和“贝叶斯定理”，

CNN在做卷积的时候，每一层的输出是通过卷积的前向传播算法和反向传播算法，结合真实的标签，将前向传播的结果无限逼近具有真实标签，在此过程中不断的更新权重，形成具有真实标签类别信息的权重矩阵。利用训练高的权重矩阵去计算预测的输入数据，并产生一个结果，这个结果

决策树算法是最早的机器学习算法之一。各种决策树的主函数都大同小异，本质上是一个递归函数。该函数的主要功能是按照某种规则生长出决策树的各个分支节点，并根据终止条件结束算法。一般来讲，主函数需要完成如下几个功能。每种决策树之所以不同，一般都是因为最优特征选择的

有动画演示。

我印象最深的一句话就是：机器的分类能力比人强。机器学习即是一门这样的学科，致力于研究通过计算机的手段，利用经验来改善系统自身性能。机器学习的主要研究内容：关于“学习算法”的学问。有了学习算法我们把经验数据传输给他，他就能产生出相对应的模型，在面对新的情况时

其知识体系结构庞大而复杂，为了使读者朋友能够把握机器学习的清晰的脉络，本书尽可能从整体上对机器学习的知识架构进行整理，并以Sklearn和Keras等机器学习框架对涉及的相关理论概念进行代码实现，使理论与实践相结合。本书可作为机器学习入门者、对机器学习感兴

模型面对训练集和测试集以外的未知数据或者实际场景的数据时预测能力的大小，如果一个模型在训练集和验证集表现良好，而测试集表现不好，那么该模型的泛化能力就比较差，这种现象也叫做过拟合现象，一份数据集切分成训练集，测试集，验证集的方法也叫作交叉验证。

十年前，MSRA的夏天，刚开始尝试机器学习研究的我面对科研巨大的不确定性，感到最多的是困惑和迷茫。十年之后，即将跨出下一步的时候，未来依然是如此不确定，但是期待又更多了一些。这其中的变化也带着这十年经历的影子。那是AlexNet出现之前两年，深度学习的主流

在找导师的过程中，发现比较热门的导师的特点有以下几点。在校刚来的几位导师中，比较年轻的导师无论能力还是学术都比较强，所有也很快就定下了人选。在来之前，自己也大致确立了方向，大数据。最终找到了我现在的导师，导师管理的公司主要是做图像识别。也就属于当前的计算机