梯度下降是机器学习中最重要的思想之一：给定一些代价函数以使其最小化，该算法迭代地采取最大下降斜率的步骤，理论上在经过足够的迭代次数后才达到最小值。柯西于1847年首次发现，在1944年针对非线性优化问题在Haskell Curry上得到扩展，梯度下降已用

程序和数据上传到网盘中，程序也可以看附录。LVQ算法是一种有监督的学习方法，其在模式识别和优化领域有广泛的应用。通过实验结果表示，本文中的LVQ算法分类精度为94.2%，与其他分类方法相比，分类精度得到进一步提高。目前，乳腺癌已经成为世界上妇女发病率最高的

本篇博文主要讲解2014年ICLR的一篇非常牛逼的paper：《Network In Network》，过去一年已经有了好几百的引用量，这篇paper改进了传统的CNN网络，采用了少量的参数就松松击败了Alexnet网络，Alexnet网络参数大小是230

深入学习中最具争议的话题之一是如何解释和理解一个经过训练的模型——特别是在医疗等高风险行业的背景下。“黑匣子”一词经常与深度学习算法联系在一起。如果我们不能解释模型是如何工作的，我们怎么能相信模型的结果呢？这是个合理的问题。以一个为检测癌症而训练的深度学习

本文简单介绍了NAS的发展现况和在语义分割中的应用，并且详细解读了两篇流行的work：DARTS和Auto-DeepLab。多数神经网络结构都是基于一些成熟的backbone，如ResNet, MobileNet，稍作改进构建而成来完成不同任务。正因如此，

　　本文作者在工作中需要实现一种适用于手机端目标检测任务的神经网络，因此撰写这篇综述性报告，详细梳理目前手机端目标检测领域的神经网络应用现状。　　1959年，Hubel和Wiesel发现人类视觉系统中的可视皮层是采用分层机制处理信息的。受此启发，人们提出了

他们的关系不是互相独立，而是一环套着一环。以digit0为例，进行手工演算。以下矩阵为卷积核进行卷积操作；显示卷积之后的图像，观察提取到什么特征。

而对于卷积神经网络，相邻两层之间只有部分节点相连，为了展示每一层神经元的维度，一般会将每一层卷积层的节点组织成一个三维矩阵。因此，全连接神经网络和卷积神经网络的唯一区别就是神经网络相邻两层的连接方式。以digit0为例，进行手工演算。

　　联想记忆 AM是神经网络研究的一个重要方面，在许多领域被广泛应用。AM 作为人工神经网络的一种能力，就是将任意的输入矢量集通过线性或非线性映射，变换为输出矢量集。　　联想记忆网络存贮的是成对的矢量即模式对。此时，通过输入模式的一部分信息即可恢复模式的全

觉得有用的话,欢迎一起讨论相互学习~课程梳理出Tensorflow2搭建优化神经网络的八股，带你逐步完善代码，实现图像识别与股票预测。课程以录像形式讲解知识点，以录屏形式分析源代码，通过助教的Tensorflow笔记实现回顾与扩展。第三讲、分享神经网络的搭

缺乏可解释性仍然是在许多应用中采用深层模型的一个关键障碍。在这项工作中，明确地调整了深层模型，这样人类用户可以在很短的时间内完成他们预测背后的过程。具体地说，训练了深度时间序列模型，使得类概率预测具有较高的精度，同时被节点较少的决策树紧密地建模。使用直观的

RNN是一类用于处理序列数据的神经网络。这些序列比较长，且长度不一，比较难直接的拆分成一个个独立的样本来通过DNN/CNN进行训练。这幅图描述了在序列索引号t附近RNN的模型。1）x代表在序列索引号t时训练样本的输入。

循环神经网络主要运用在序列数据之中，因此下文将以比较典型的文本数据进行分析。对于神经网络，我们输入的X必须是数字，不然无法参与计算。因此这里就创建一个vocabulary，给每一个词编码。为了充分利用序列化数据的序列特征，循环神经网络将X的每一个单位数据称

神经元可以理解为一个具有多个输入、单个输出的模型，输入和输出的关系可以用一个函数来表示。如果用\表示输入，\(y\)表示输出，那么这个函数可以表示为:. 其中，\称做神经元的权重，\(b\)称作神经元的偏置，\(a\)是一个非线性函数，称作神经元的激活函数

自编码AutoEncoder是一种无监督学习的算法，他利用反向传播算法，让目标值等于输入值。什么意思呢，下面举个例子。有一个神经网络，它在做的事情是，输入一张图片，通过一个Encoder神经网络，输出一个比较"浓缩的"feature m

关于2D卷积，可能会输入一个14×14的图像，并使用一个5×5的过滤器进行卷积接下来看到了14×14图像是如何与5×5的过滤器进行卷积的通过这个操作会得到10×10的输出

在卷积神经网络中，感受野的定义是卷积神经网络每一层输出的特征图。上的像素点在输入图片上映射的区域大小。再通俗点的解释是，特征图上的一个点对应输入图上的区域，如图1所示。感受野，指的是神经网络中神经元“看到的”输入区域，在卷积神经网络中，feature ma

卷积层块里的基本单位是卷积层后接平均池化层：卷积层用来识别图像里的空间模式，如线条和物体局部，之后的平均池化层则用来降低卷积层对位置的敏感性。卷积层块由两个这样的基本单位重复堆叠构成。在卷积层块中，每个卷积层都使用5×5的窗口，并在输出上使用sigmoid

每层有多少神经元？我们需要用尝试加上直觉的方法来进行调试。对于语音识别和影像识别，深度学习是个好的方法，因为特征工程提取特征并不容易。结构可以自动确定吗？有很多设计方法可以让机器自动找到神经网络的结构的，比如进化人工神经网络但是这些方法并不是很普及 。可以

从输入数组中获取本次卷积的区域，return input_array[start_i: start_i + filter_height, start_j: start_j + filter_width]