无限宽度神经网络是近来一个重要的研究课题，但要通过实证实验来探索它们的性质，必需大规模的计算能力才行。近日，谷歌大脑公布的一篇论文介绍了他们在有限和无限神经网络方面的系统性探索成果。该研究通过大规模对比实验得到了 12 条重要的实验结论并在此过程中找到了一

本文转自雷锋网，如需转载请至雷锋网官网申请授权。在本文中，我们将用C语言从头开始实现一个基本的神经网络框架。在C语言中实现反向传播实际上会让我们更详细地了解改变权重和偏差是如何改变网络的整体行为的。我们的目标是建立一个通用的框架，其中的层数和神经元将由用户

模型的训练、调参是一项非常费时费力的工作，了解神经网络内部的数学原理有利于快速找出问题所在。本文作者从零开始，一步一步讲解了训练神经网络时所用到的数学过程。神经网络是线性模块和非线性模块的巧妙排列。它们可能会对新数据给出较低的准确率，会耗费很长的训练时间或

针对不同的目标使用不同的损失函数。在本文中，我将通过一组示例向您介绍一些常用的损失函数。本文是使用Keras和Tensorflow框架的设计。损失函数有助于优化神经网络的参数。损失由损失函数计算。顾名思义，这种损失是通过计算实际（目标）值和预测值之间的平方

特斯拉人工智能部门主管 Andrej Karpathy 发布新博客，介绍神经网络训练的技巧。Andrej Karpathy 是深度学习计算机视觉领域、生成式模型与强化学习领域的研究员。博士期间师从李飞飞。在读博期间，两次在谷歌实习，研究在 Youtube

不同的神经网络可以实现给图像去噪、去水印、消除马赛克等等功能，但我们能否让一个模型完成上述所有事？事实证明 AI 确实有这样的能力。来自 Skoltech、Yandex 和牛津大学的学者们提出了一种可以满足所有大胆想法的神经网络。该研究的论文《Deep I

图神经网络热度持续上升，之前我们曾介绍了清华两篇综述论文，参见：深度学习时代的图模型，清华发文综述图网络，和清华大学图神经网络综述：模型与应用。最近，IEEE Fellow、Senior Member 和 Member Zonghan Wu 等人又贡献了一

近年来，图神经网络的研究成为深度学习领域的热点，机器之心曾介绍过清华大学朱文武等人综述的图网络。近日，清华大学孙茂松组在 arXiv 上发布预印版综述文章 Graph Neural Networks: A Review of Methods and App

本文简要介绍了提升神经网络性能的方法，如检查过拟合、调参、算法集成、数据增强。神经网络是一种在很多用例中能够提供最优准确率的机器学习算法。但是，很多时候我们构建的神经网络的准确率可能无法令人满意，或者无法让我们在数据科学竞赛中拿到领先名次。所以，我们总是在

近日，谷歌在 distill 上发文《The Building Blocks of Interpretability》探讨了如何结合特征可视化和其他可解释性技术来理解神经网络如何做出决策，同时谷歌还发布了 Lucid，一套研究神经网络可解释性的基础架构和工

在我们使用 CNN 进行图片分类时，模型到底关注的是图像的哪个区域？Grad-CAM 利用卷积网络最后一个特征图的信息，并加权对应的梯度而构建模型分类的热力图，通过该热力图，我们可以清楚地了解哪一块区域对于类别是最重要的。我们喂给它输入数据进而得到输出。尽

市场是芯片质量的检验者。这很残酷，但也正是计算机设计让人兴奋的地方。对于人类社会，深度神经网络就像是那遥远地平线上出现的海啸一般。鉴于它们的算法和应用目前仍在不断演变，所以尚不清楚深度神经网络最终将会带来怎样的变化。为 DNNs 量身定制的第一批商用芯片将

魔高一尺，道高一丈。在这场人工智能与人机鉴别技术的博弈中，到底谁将更胜一筹？最近，一项新的研究发现，通过模拟人类视觉的工作原理，人工智能软件可以击败谷歌的 reCAPTCHA 人机鉴别验证码系统，这也是世界上使用最广泛的用于区分人类与电脑的全自动图灵测试。

AMD 最近宣布新的深度学习加速库 MIOpen 1.0 现已发布，该深度学习库支持加速卷积神经网络，并且构建和运行在 ROCm 软件栈的顶部。同时 MIOpen 还提供了卷积层、池化层、批量归一化层等众多使用参考，机器之心对这一机器智能库的特性和安装进行

在机器学习中，精确地计数给定图像或视频帧中的目标实例是很困难的一个问题。很多解决方案被发明出来用以计数行人、汽车和其他目标，但是无一堪称完美。当然，我们正在讨论的是图像处理，所以神经网络不失为解决这一问题的好办法。下面，本文将对神经网络目标计数领域的不同方

计算深度学习模型的可训练参数的数量被认为太微不足道了，因为您的代码已经可以为您完成此操作。但是我想在这里留下笔记，让我们偶尔参考一下。前馈神经网络循环神经网络卷积神经网络我们将使用Keras的API构建机器学习模型，以便于原型设计和干净的代码，因此我们可以

在构建神经网络时，需要采取几个步骤。最重要的两个步骤是实现正向和反向传播。在本教程中，我们将重点关注反向传播及其每一步背后的直觉。这是一种简单的实现神经网络的技术，它允许我们计算参数的梯度，以执行梯度下降和最小化我们的成本函数。初始化用于神经网络的权重和偏

不久之前，Wenzhe Shi 等人在 arXiv 上发表了一篇名为《通过高效的子像素卷积神经网络实现实时的单一图像和视频超分辨率》的论文，机器之心海外分析师团队从多个方面对其做了解读。单一图像/视频超分辨率的目标是从单一低分辨率图像还原出高分辨图像。论文

今天我们将学习如何在实际数据集上编写神经网络。当我们过去学习深度神经网络时，我们直接使用在训练和测试中准备好数据，例如通过我们的神经网络，但在这里，我们将准备使用PIMA糖尿病数据集，来创建我们的神经网络模型。获取数据这里我们将得到CSV数据集。数据集是在

本教程的作者为 neuronme 的 CTO 兼首席深度学习工程师 Rishabh Shukla，从非数学的角度介绍了深度神经网络的训练方法，并提供了一些实用的建议。深度学习中，为了有效地训练深度神经网络，有一些值得我们强烈推荐的做法。在这里建议的所有要点