前馈神经网络是一种最简单的神经网络，各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层．各层间没有反馈。是目前应用最广泛、发展最迅速的人工神经网络之一。研究从20世纪60年代开始，目前理论研究和实际应用达到了很高的水平。而

在神经网络中，激活函数决定来自给定输入集的节点的输出，其中非线性激活函数允许网络复制复杂的非线性行为。正如绝大多数神经网络借助某种形式的梯度下降进行优化，激活函数需要是可微分。此外，复杂的激活函数也许产生一些梯度消失或爆炸的问题。因此，神经网络倾向于部署若

采用的数据集是sklearn中的breast cancer数据集，30维特征，569个样本。训练前进行MinMax标准化缩放至[0,1]区间。按照75/25比例划分成训练集和验证集。Z=[np.zerosforniinn];Z[0]=np.nan#各层节点

文章主要关注深度神经网络架构下的有监督学习方式。假设我们有一个卷积神经网络来训练和评估，并假设评估结果比预期的更糟。确保随着正则化强度的增加，损失也在增加。此处提供常见的损失函数列表。

近日，《自然》杂志上的一篇论文中，IBM Research博士后研究员Stefano AmbrogioAmbrogio和他的同事们描述了他们利用新兴的模拟记忆和更传统的电子元件组合创造出了一种芯片，这种芯片可以与GPU的精度相匹配，同时运行速度更快，能耗

先明确一点就是，Deep Learning是全部深度学习算法的总称，CNN是深度学习算法在图像处理领域的一个应用。第二点，Deep Learning强大的地方就是可以利用网络中间某一层的输出当做是数据的另一种表达，从而可以将其认为是经过网络学习到的特征。基

递归神经网络是一类神经网络，包括一层内的加权连接。因为 RNN 包含循环，所以它们可以在处理新输入的同时存储信息。这种记忆使它们非常适合处理必须考虑事先输入的任务。由于这个原因，目前的深度学习网络均以 RNN 为基础。本教程将探索 RNN 背后的思想，并从

TensorBoard 涉及到的运算，通常是在训练庞大的深度神经网络中出现的复杂而又难以理解的运算。为了更方便 TensorFlow 程序的理解、调试与优化，Google 发布了一套叫做 TensorBoard 的可视化工具。你可以用 TensorBoa

我发现网络上铺天盖地的人工智能相关信息中的绝大多数都可以分为两类：一是向外行人士解释进展情况，二是向其他研究者解释进展。我还没找到什么好资源能让有技术背景但对不了解更前沿的进展的人可以自己充电。我想要成为这中间的桥梁——通过为前沿研究提供(相对)简单易懂的