在翻阅各种资料之后，我对神经网络的历史深深入迷了。这是个非常有趣的研究主题，我从中获得了不少快乐。自上个世纪以来，神经网络和人工智能一直是热门话题。在流行文化电影中，人工智能机器人风靡全球，吸引着大量猎奇之士。神经网络的灵感来源于生物神经元是一种受编程范式

来自IEEE研究员Cuntai Guan这样认为：“许多机器决策仍然没有得到很好的理解”。大多数论文甚至提出在准确性和可解释性之间进行严格区分。神经网络是准确的，但无法解释;在计算机视觉中，决策树是可解释的，但不准确。这意味着金融和医学等应用领域的从业者

神经网络是线性模块和非线性模块的巧妙排列。当聪明地选择并连接这些模块时，我们就得到了一个强大的工具来逼近任何一个数学函数，如一个能够借助非线性决策边界进行分类的神经网络。让我们以乐高积木为喻，一次增加一块，从零构建一个神经网络来一探其内部功能。我们将在本文

梯度下降算法在机器学习中，当我们使用梯度下降法优化损失函数的时候，每次都会朝着目标函数下降最快的方向，这也称为最速下降法。但是梯度下降算法看似非常快，实际上存在一些问题，它的收敛速度会很慢，我们来看一下为什么会这样？param.data = param.d

选自TowardsDataScience，作者：James Loy，机器之心编译。这是一份用于理解深度学习内部运作方式的初学者指南。作者根据自己从零开始学习用 Python 构建神经网络的经验，编写了一份攻略。内容涵盖神经网络定义、损失函数、前向传播、反向

注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。注意力机制可以快速提取稀疏数据的重要特征，因而被广泛用于自然语言处理任务，特别是机器翻译。而自注意力机制是注意力机制的改进，其减少了对外部信息的依赖，

你在配置网络时，必须指定这些参数的值。想为你特定的预测建模问题配置这些超参数，最可靠的方法就是用强大的测试工具进行系统试验。在这篇文章中，你将了解层和节点的作用，以及如何着手为你的预测建模问题配置多层感知器神经网络。此外，已针对无法通过单个隐藏层的MLP直

[2]激活函数也可以是分段线性函数

近些年来，深度卷积神经网络在图像分类和识别上取得了很显著的提高。回顾从 2014 到 2016 这两年多的时间，先后涌现出了 R-CNN，Fast R-CNN, Faster R-CNN, ION, HyperNet, SDP-CRC, YOLO,G-C