在一篇 ICLR 2020 Spotlight 论文中，DeepMind 和哈佛大学的研究者构建了一个基于 AI 的虚拟小鼠，能够执行跑、跳、觅食、击球等多项复杂任务。他们还尝试用神经科学技术来理解这个「人造大脑」如何控制其行为。或许这一成果可以为我们提供

对于动辄上百 M 大小的神经网络来说，模型压缩能够减少它们的内存占用、通信带宽和计算复杂度等，以便更好地进行应用部署。最近，来自 Facebook AI 的研究者提出了一种新的模型量化压缩技术 Quant-Noise，让神经网络在不降低性能的前提下，内存占

首先我们先初始一个神经网络模型，然后我们通过训练集误差来确定我们算法是否处于高偏差问题，如果确实处于高偏差的问题，那么我们此时要做的就是选择一个新的神经网络，比如更多的隐藏层或者隐藏单元的网络，或许你能找到一个更合适解决此问题的新的网络架构，要想找到一个新

事实上，你的模型可能还停留在石器时代的水平。估计你还在用32位精度或*GASP*训练，甚至可能只在单GPU上训练。如果市面上有99个加速指南，但你可能只看过1个?但这份终极指南，会一步步教你清除模型中所有的。例子中会包括一些Pytorch代码和相关标记，可

Transformers是一种越来越受欢迎的神经网络架构。Transformers最近被OpenAI用于他们的语言模型中，DeepMind最近将其用于AlphaStar。Transformers是为了解决序列转导或神经机器翻译的问题而开发的。这意味着将输入

介绍众所周知，神经网络可以近似任何连续数学函数的输出，不管它有多么复杂。以下面的函数为例:. 因此，神经网络表现出一种普遍的行为。神经网络之所以受到如此多的关注，原因之一是除了这些相当显著的普遍特性外，它们还拥有许多强大的学习函数算法。普遍性与基础数学这篇

在深度学习场景中，数据集的大小和模型的复杂性都在增加。加速他们的训练是一项重大挑战，需要超级计算所能满足的更大的计算资源需求。在这篇文章中，我们将探讨如何将单个深度神经网络的训练分布在多个gpu和服务器上，以减少训练时间。我们将使用 Estimators作

您可能想知道如何检测网络摄像头视频Feed中的可疑行为？我们将使用您计算机的网络摄像头作为视频源，用于训练数据和测试您的神经网络模型。这种方法是使用迁移学习的监督学习。你需要遵循什么您应该可以访问安装了以下组件的计算机。虽然，我已经在Mac上测试了这段Py

反向传播是训练人工神经网络，特别是深度神经网络的常用方法。通过计算损失函数的梯度来调整神经网络的神经元（即节点）的权重。为此目的，使用梯度下降优化算法。它也被称为误差的反向传播。这意味着你正在检查你当前位置的陡度。这意味着您正在再次应用前面描述的过程，即您

Tensorflow Estimators - 它提供了对低级Tensorflow核心操作的高级抽象。它适用于Estimator实例，它是TensorFlow对完整模型的高级表示。使用Estimators创建Tensorflow模型非常简单易行，我将使用E

大部分人不会喜欢遗忘的感觉。回到家顺手把钥匙丢在一个角落就再也想不起来放在哪儿了，街角偶遇一个同事却怎么拍脑袋也叫不出他的名字……然而，生而为人，健忘其实是种关键能力。对于人类而言，遗忘绝不仅仅是“想不起来”，而是一个帮助大脑吸收新信息并锻炼有效决策的积极

由于LSTM是循环神经网络的一个版本，让我先简单谈谈RNN。因此循环神经网络用于没有固定输入结构的问题。循环神经网络允许该单词的每个字母用于获得隐藏值，该隐藏值再次用于与下一个字母一起馈送下一步骤。所有隐藏值也可能导致损失，或者仅使用最后一个值。RNN训练

众所周知，word嵌入在许多NLP任务中非常强大。目前的大多数实现都使用了所谓的“分布假设”，即在相似语境下的单词具有相似的含义。人类不仅可以通过上下文来判断两个词是否相似，还可以通过观察或想象这个词可能代表的物体来判断。很多时候，相似的物体与具有相似含义

YouTube网红小哥Siraj Raval系列视频又和大家见面啦！今天要讲的是自编码器Autoencoder。

AI热潮中，有关神经网络的声音最大。然而，AI远远不止如此。目前在AI技术领域中，投入资金最多的当属对神经网络的研究了。其实，除了神经网络以外，AI领域中还包含很多更有趣、更新颖，更有前景的技术，文章中就将这些技术介绍给大家。我们常用的Google搜索引擎

在这篇中，我将介绍针对各种类型的特征和各种类型的机器学习模型进行特征预处理的基本方法。现在，让我们将所有机器学习模型划分为基于树和非树的模型。例如，决策树分类器尝试为每个特征找到最有用的分割，并且它不会改变其行为及其预测，这些是基于树的模型。另一方面，存在

现在，我们可以使用许多高级的、专门的库和框架，如Keras、TensorFlow或PyTorch，我们不需要一直担心权重矩阵的大小，也不需要记住我们决定使用的激活函数的导数公式。通常我们只需要创建一个神经网络，即使是一个结构非常复杂的神经网络，也仅需要一些

胶囊网络是一种新的热门的神经网络架构。它可能对深度学习带来深远的影响，特别是对计算机视觉领域。我们不是已经看到了多种卷积神经网络的神奇案例？它们不是已经在计算机视觉任务上实现超越人类的水平了吗？比如分类里的ResNet，物体检测里的YOLO，实例分割里的M

在这篇文章中，我将使用常规卷积操作测试和比较神经网络的分类任务，并通过用转置卷积替换卷积来比较相同的网络。因此结果是输出增长而不是减少。首先，我导入PyTorch并将其封装为变量，从批量大小为1、通道尺寸为1、高度为5、宽度为5的正态分布中抽取的随机张量如

前向传播就是从输入层开始，经过一层层的Layer，不断计算每一层的z和a，最后得到输出y^的过程。神经网络逐层逐神经元通过该操作向前传播，最终得到输出层的结果。我们分别对w1和w5求偏导数，现在我们已经知道了如何对神经网络权重参数求解偏导数，这就是神经网络