在过去的几年中，自然语言处理取得了长足的进步，诸如BERT，ALBERT，ELECTRA和XLNet等预训练语言模型在各种任务中均取得较高的准确性。鉴于这样的预训练表示在不同NLP任务中得到广泛采用，作为从业者，我们需要了解预训练模型如何对信息编码以及学习

在生物医学这样的专业领域训练NLP模型，除了特定数据集，「域外」文本也被认为是有用的。但最近，微软的研究人员「大呼」：我不这么觉得！这是一个拷问人工智能「门外汉」的灵魂问题。但研究人员将这部分归因于数据中的噪声。

本文提出了一种高效的移动NLP架构Lite Transformer，以便于在边缘设备上部署移动NLP应用。Lite-Transformer在BLEU评分下降0.3的情况下，将变压器基础模型的计算量减少了2.5x。结合剪枝和量化，进一步压缩了Lite-Tra

NLP = NLU + NLG. 分词。工具：。3、[LTP](https://www.ltp-cloud.com/ "c"). 前向最大匹配（forward-max matching）

BERT虽然在模型创新的角度来说并不是非常出色，但它是近几年NLP领域杰出成果的集大成者。BERT大火最重要的原因是效果好，通用性强两大优点。可以说BERT的出现是NLP领域里具有里程碑意义的大事件。本篇主要讲解NLP里面的Word Embedding预训

摘要：上一篇广告中那些趣事系列1：广告统一兴趣建模流程，我们了解了如何为广告主圈人群以及如何刻画用户的兴趣度。要想给用户打标签，我们需要构建数据源和标签的关联，也就是item-tag。针对数量较少的app数据源我们可以使用人工打标的方式来识别，但是对于ne

NLP要学习和应用的好，首先是心理学的基础根基要打牢。人的内在有自我完满的情节。

句子相似性判断、情感分析、实体识别、智能问答，本质基本上都是分类任务。阅读理解是逐个候选项的分类问题处理。

正如我在<自然语言处理 - 数学基础 - 总述>一文中所提到的NLP所关联的概率论知识点是如此的多, 饭只能一口一口地吃了, 我们先开始最为大家熟知和最基础的知识点吧, 排列组合.虽然排列组合这个知识点大家是相当地熟知, 也是相当地基础, 但是

一经公布，它便引爆了整个NLP界，其在11个主流NLP任务中都取得优异的结果，因此成为NLP领域最吸引人的一个模型。在文章利用bert-serving-server搭建bert词向量服务(一) 中，作者简洁明了地介绍了如何利用bert-serving-se

ERNIE是百度自研的持续学习语义理解框架，该框架支持增量引入词汇、语法 、语义等3个层次的自定义预训练任务，能够全面捕捉训练语料中的词法、语法、语义等潜在信息。ERNIE2.0实现了在中英文16个任务上的最优效果，具体效果见下方列表。这些任务包括：自然

本文是面向 Web 开发者所写，介绍关于“语音交互”的一篇科普性质的文章，希望借助这篇文章，让开发者了解到什么是语音交互，以及在 YodaOS 中的技术实现。作为 Web 开发者，相信在面试时常会被问到“浏览器输入 URL 后发生了什么”这样的经典问题，这

在本文中，我们将会学习到如何使用深度学习工具来自己一步步地实现NER，只要你坚持看完，就一定会很有收获的。OK，话不多说，让我们进入正题。几乎所有的NLP都依赖一个强大的语料库，本项目实现NER的语料库如下：

本文的代码请点击这里。在过去的几个月中，我对深度学习非常着迷，特别是它在自然语言处理中的应用。我作为一名“深度学习”的爱好者时，对于深度学习我没有很深入的了解。为什么股票预测与 NLP 存在关联性？在很多的 NLP 问题中，我们最终会把序列编码成一个固定大

本文提出了一种新方法，将知识图谱的信息加入到模型的训练中。自从 BERT 被提出之后，整个自然语言处理领域进入了一个全新的阶段，大家纷纷使用 BERT 作为模型的初始化，或者说在 BERT 上进行微调。BERT 的优势就在于使用了超大规模的文本语料，从而使

Github项目iwangjian/Paper-Reading包含了最新的NLP相关论文列表，包括对话系统、文本摘要、主题模型、自动问答、机器翻译等，并在持续更新中。Survey of Dialogue Corpora: "A Survey of

本文约1200字，建议阅读6分钟。本文为你介绍鹅厂近期正式开源的一个大规模、高质量的中文词向量数据集。又一来自腾讯AI实验室的资源帖。该数据集包含800多万中文词汇，相比现有的公开数据，在覆盖率、新鲜度及准确性上大幅提高。在对话回复质量预测、医疗实体识别等

本文约2200字，建议阅读8分钟。情感分析、问题回答和联合多任务学习方面的进步使AI能够真正理解人类的交流方式。面对自然语言处理发展存在的诸多难题，该领域的大牛、Salesforce的首席科学家Richard Socher在近日指出：NLP领域的发展要过三

本文为你分享6份最新的开源代码，包括自然语言处理、计算机视觉和机器学习3个方面。DuReader: a Chinese Machine Reading Comprehension Dataset from Real-world Applications.

今日，Stanford NLP 团队发布了包含 53 种语言预训练模型的自然语言处理工具包 StanfordNLP，该工具包支持 Python 3.6 及之后版本，并基于 PyTorch，支持多种语言的完整文本分析管道，包括分词、词性标注、词形归并和依存关