国内某移动局点使用Impala组件处理电信业务详单，每天处理约100TB左右详单，详单表记录每天大于百亿级别，在使用impala过程中存在以下问题:. Impala属于MPP架构，只能做到百节点级，一般并发查询个数达到20左右时，整个系统的吞吐已经达到满负

3月27日，北京市消协的一份报告在网上激起了轩然大波。在一场采用问卷调查、舆情采集和体验调查3种方式，涉及14个消费者常用的APP或网站，针对57个试验样本的调查中，有88.32%的被调查者认为“大数据杀熟”现象普遍或很普遍，有56.92%的被调查者表示有

在MAR假设下，数据缺失原因取决于完全观测到的协变量，而与未观测到的因素无关。统计学分析通常假设缺失数据为MAR，如果假设是正确的，仅分析完整的数据可以得到一个无偏倚的疗效估计。Meta分析通常不具备检测数据缺失原因的能力，仅凭经验性判断数据缺失的原因和机

心中仿佛突然疯狂涌现成群的草泥马奔腾而过，感觉脑袋上本就不浓密的头发似乎也要守不住了。工作几年的 Java ，在现实中撸着 CRUD 的代码，内心里渴望成为 Java 架构师。此时此刻，就需要一波优质免费的，全面的通向架构师之路的视频。该视频教程总共分为四

本文要分享的大数据平台架构技术选型及场景运用偏向于工程方面。从整个大的生态圈可以看出，要完成数据工程需要大量的资源；数据量很大需要集群；要控制和协调这些资源需要监控和协调分派；面对大规模的数据怎样部署更方便更容易；还牵扯到日志、安全、还可能要和云端结合起来

Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。它够从各种日志源上收集日志，存储到一个中央存储系统上，以便于进行集中的统计分析处理。Scribe为日志的“分布式收集，统一处理”提供了一个可扩展的、高容错的方案。数

面对着市场上动辄15k以上的薪资，入行大数据的人也越来越多，但有一个很现实的问题，当你进入大数据领域后，你的方向在哪里呢？其实想要在大数据领域内找到自己的方向很简单，我们可以通过大数据最火热的10大热门行业应用来进行了解。

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL是BI项目重要的一个环节。通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的