深度学习是机器学习的重要组成部分，深度学习算法基于神经网络。有几种功能不同的神经网络架构，最适合特定的应用场景。本文介绍一些最知名的架构，尤其是深度学习方面的架构。MLP使用一种称为反向传播的监督式学习技术进行训练。反向传播有助于调整神经元权重，以获得更接

在这篇文章中，我们将仔细研究一个名为GCN的著名图神经网络。首先，我们先直观的了解一下它的工作原理，然后再深入了解它背后的数学原理。许多问题的本质上都是图。在我们的世界里，我们看到很多数据都是图，比如分子、社交网络、论文引用网络。最后通过神经网络返回一个结

GraphSAGE 是 17 年的文章了，但是一直在工业界受到重视，最主要的就是它论文名字中的两个关键词：inductive 和 large graph。今天我们就梳理一下这篇文章的核心思路，和一些容易被忽视的细节。最核心的就是利用图的结构信息，为每个 n

从字面上看，通用近似定理是神经网络起作用的理论基础。简而言之，它声明了一个神经网络，其中具有一个包含足够但有限数量的神经元的隐藏层，可以在激活函数的某些条件下以合理的精度近似任何连续函数。神经网络是否在受过训练的范围之外发生故障并不重要，因为那不是其目标。

参数共享或权重复制是深度学习中经常被忽略的领域。但是了解这个简单的概念有助于更广泛地理解卷积神经网络的内部。卷积神经网络能够使那些通过网络馈送的图像在进行仿射变换时具有不变性。这个特点提供了识别偏移图案、识别倾斜或轻微扭曲的图像的能力。仿射不变性的这些特征

众所周知，神经网络非常强大，可以将其用于几乎任何统计学习问题，而且效果很好。但是您是否考虑过为什么会这样?为什么在大多数情况下此方法比许多其他算法更强大?与机器学习一样，这有一个精确的数学原因。让我们以一个抽象的观点来阐述什么是机器学习问题。其中x是数据点

上篇将介绍构建一个很简单的ANN，只有1个输入层和1个输出层，没有隐藏层。有许多深度学习库可仅用几行代码构建一个神经网络。然而，如果你真想了解神经网络的底层运作，建议学习如何使用Python或任何其他编程语言从零开始为神经网络编程。上面表格有五列：Pers

现在我们有了专用的 Benchmark 工具来进行评测。近期的大量研究已经让我们看到了图神经网络模型的强大潜力，很多研究团队都在不断改进和构建基础模块。在这种情况下，即使是非图神经网络的性能也是可观的。近日，来自南洋理工大学、洛约拉马利蒙特大学、蒙特利尔大

AI芯片还可以怎么搞？登上Nature的研究带来新启发。整个过程既耗能又费时，就像眼睛把图像传给大脑。试想一下，如果人类眼睛可以直接处理图像——不用劳烦大脑，那视觉图像信息的处理速度岂不是可以大大提升？今天，Nature这篇新研究开拓性在于，直接让“眼睛”

在最新一期的NeuIPS 2019 线上论文分享中，我们邀请到了华为诺亚方舟实验室研究员许奕星为我们介绍模型压缩这一热门研究主题。12 月 8 日-14 日，NeurIPS 2019 将于加拿大温哥华举办。在论文方面，今年大会投稿数量也创下了历史新纪录，一

谷歌提出了一项新型模型缩放方法：利用复合系数统一缩放模型的所有维度，该方法极大地提升了模型的准确率和效率。谷歌研究人员基于该模型缩放方法，提出了一种新型 CNN 网络 EfficientNet，该网络具备极高的参数效率和速度。目前，该模型的代码已开源。卷积

2014 年，Bahdanau 等人针对机器翻译任务提出了注意模型，现在它已成为一种常用的神经网络方法。近日，谷歌大脑在 arXiv 上公布了一篇新论文，提出使用注意机制增强卷积以加强获取全局相关性的能力。在图像分类和目标检测上的实验结果表明这种方法确实有

最优化方法一直是机器学习中非常重要的部分，也是学习过程的核心算法。而 Adam 自 14 年提出以来就受到广泛关注，目前该论文的引用量已经达到了 10047。不过自去年以来，很多研究者发现 Adam 优化算法的收敛性得不到保证，ICLR 2017 的最佳论

IBM 近日提出的全新芯片设计可以通过在数据存储的位置执行计算来加速全连接神经网络的训练。研究人员称，这种「芯片」可以达到 GPU 280 倍的能源效率，并在同样面积上实现 100 倍的算力。该研究的论文已经发表在上周出版的 Nature 期刊上。用 GP

本文介绍了如何免费使用 Google Colaboratory 在 GPU 上快速训练文本生成神经网络，包括两种类型的文本生成模型：字符级别和单词级别的文本生成网络。文本生成是这一波神经网络革命中诞生的一个有趣的应用。该模型快速的训练速度要归功于虚拟机的

今日，一篇关于皮肤癌诊断的文章发表在医疗期刊《肿瘤学年鉴》上，这篇出自医疗界高级管理医师的研究首次表明：深度学习卷积神经网络在检测皮肤癌方面的表现优于有经验的皮肤科医生。对比对象是来自 17 个国家的 58 位皮肤科医生，其中包括 30 位专家。这是人工智

让机器能根据文章的主题思想生成人类能够读懂的文本摘要是一个重要的 NLP 研究问题。腾讯知文团队、苏黎世联邦理工学院、哥伦比亚大学和腾讯 AI Lab 的研究者针对这一任务提出了一种引入主题模型和强化学习方法的卷积神经网络方法。该论文已被 IJCAI 20

和目前普遍的稀疏性诱导、结构化限制相似，神经网络的低秩结构也具有压缩的性质，并在对抗攻击中具备稳健性。在本文中，来自牛津大学计算科学部和阿兰图灵机构的研究者开发了一种新方法，通过在训练过程中引入修正，增强神经网络表征的低秩属性。有趣的是，从奠基性论文 Kr

ICLR 2018 将于 4 月 30 日在加拿大温哥华开幕，之前机器之心对此届大会的三篇获奖论文分别进行了介绍。此外，RNN 的计算依赖于与当前的隐状态，只能被顺序执行，因此在执行推断时会造成比较大的延时。考虑将模型的权重量化成 1 比特，相对于全精度，

自吴恩达发布 deeplearning.ai 课程以来，很多学习者陆续完成了所有专项课程并精心制作了课程笔记，在此过程中机器之心也一直在为读者推荐优质的笔记。上个月，deep learning.ai 第五课发布，该系列课程最终结课。Mahmoud Badr