剪枝是一种帮助神经网络实现规模更小、效率更高的深度学习方法。这是一种模型优化技术，它删除权重张量中不必要的值，从而使得压缩后的神经网络运行速度更快，网络训练过程中的计算成本也有所降低。在将模型部署到手机等边缘设备上时，剪枝的作用更加明显现。计算成本取决于每

机器学习模型训练中，过拟合现象实在令人头秃。而 2012 年 Geoffrey Hinton 提出的 Dropout 对防止过拟合有很好的效果。之后大量 Dropout 变体涌现，这项技术也成为机器学习研究者常用的训练 trick。万万没想到的是，谷歌为该

本文的目标是帮助对于深度学习硬件加速器设计感兴趣的朋友快速上手基于 FPGA 的深度学习加速器设计。计算机体系结构知识：参考书《计算机组成与设计》，不需要熟读全书，但要对一些加速器设计相关的基础概念有比较清晰的理解和认识，如流水线、数据并行等。我们选取卷积

当前所有基于神经网络的语音合成模型都依赖于自回归，或者循环神经网络，而百度最近提出了一种依赖于非自回归的全并行模型。该模型在合成速度和语音质量方面都有很大的提升。语音合成在智能家居、内容创作、人机交互领域有着广泛应用。该模型直接采用前馈神经网络 ，不依赖于

今天，蚂蚁金服财富对话算法团队整理对比了深度学习模型在自然语言处理领域的发展历程。从简易的神经元到当前最复杂的BERT模型，深入浅出地介绍了深度学习在 NLP 领域进展，并结合工业界给出了未来的 NLP 的应用方向，相信读完这篇文章，你对深度学习的整体脉络

PaddlePaddle 是百度自主研发，集深度学习核心框架、工具组件和服务平台为一体的开源深度学习平台。该平台技术领先、功能完备。Paddle Fluid 是 PaddlePaddle 的核心框架，满足模型开发、训练、部署的全流程需求。本文将展示如何用

BigGan、Bert、GPT 2.0 等模型的出现似乎表明，DNN 模型越大，其准确率越高。但芯片内存的增长速度似乎无法满足这种“暴力美学”的需要。为此，谷歌提出并开源了一种新的方法——GPipe，利用管道并行化扩展 DNN 训练以克服这种局限。视觉识别

选自 arxiv，作者：Lingxiao Ma 等，机器之心编译，参与：Geek AI、Chita。目前，深度学习技术通常以深度神经网络的形式展现。由于其在语音、视觉和自然语言处理等领域所取得的成功，深度学习技术越来越受欢迎。现有的解决方案都不能很好地支持

移动设备的计算资源和能耗预算都很有限，因此模型压缩对于在移动设备上部署神经网络模型至关重要。传统的模型压缩技术依赖手工设计的启发式和基于规则的策略，需要领域专家探索较大的设计空间，在模型大小、速度和准确率之间作出权衡。本论文提出了适用于模型压缩的 Auto

感知机可以称为第一代的神经网络，主要包括输入的多个特征单元，中间由学习权重连接，最后由决策单元输出。典型的感知机单元遵循前馈模型，输入通过权重处理后直接连接到输出单元上。但一旦人工特征固定下来将会极大的限制感知机的学习能力。这对于感知机来说是毁灭性的，由于

这篇论文在今年 3 月份出现时引起了人们的热烈讨论。本文深入探讨了这篇基于模型的强化学习的研究，该论文在颇具挑战的 CarRacing-v0 环境中的表现令人惊喜。编码器的任务是将输入图像压缩为一种紧密的潜在表征。为了减少计算量，我们在 rollout 的

神经网络几乎可以在每个领域帮助我们用创造性的方式解决问题。本文将介绍神经网络的相关知识。读后你将对神经网络有个大概了解，它是如何工作的？之后，由于机器学习模型具有很强可行性，神经网络的研究停滞不前。根据你希望建筑物拥有的功能来安排砖块的位置。无论权重多大，

本文就用一个小例子无死角的介绍一下深度学习！此观点引出了“神经网络”这一术语。我认为人们需要了解到深度学习正在使得很多幕后的事物变得更好。神经网络的基本构建模块是人工神经元，它模仿了人类大脑的神经元。这些神经元是简单、强大的计算单元，拥有加权输入信号并且使

作为深度学习的初学者，我有意识到的一件事情，即网络上没有太多的在线文档能够涵盖所有深层次的学习技巧。都是一些比较零碎的实践技巧，比如权重初始化、正则化及循环学习率等，这些可以使得训练和调试神经网络变得更容易和更高效。本系列博客内容将尽可能多地介绍一些实践细