随着大数据的快速发展，业务场景越来越复杂，离线式的批处理框架MapReduce已经不能满足业务，大量的场景需要实时的数据处理结果来进行分析、决策。Spark Streaming是一种分布式的大数据实时计算框架，他提供了动态的，高吞吐量的，可容错的流式数据处

Features-F1,F2,…Fn. Category-C1,C2,…Cm. P(C|F1F2…Fn)=P(F1F2…Fn|C)P(C)/P(F1F2…Fn). P(F1F2…Fn|C)P(C)=P(F1|C)P(F2|C)…P(FN|C)P(C). l

官方资料介绍Spark可以将Hadoop集群中的应用在内存中的运行速度提升100倍，甚至能够将应用在磁盘上的运行速度提升10倍。spark本身并没有提供分布式文件系统，因此spark的分析大多依赖于Hadoop的分布式文件系统HDFS. Hadoop的Ma

以后为了操作的便利性，把逻辑都包装成udf,udaf.写一个包装接口，对一份数据的操作，直接在repl给hdfs加上metadesc. 可以积累业务逻辑。

最重要的一点是，某个操作计算后的数据集可以缓存在内存中，然后给其他计算使用，这种在迭代计算中很常见。原始的RDD经过一系列转化后，会在最后的RDD上触发一个动作，这个动作会生成一个Job。Job被划分为不同的阶段，每个阶段有一批计算任务组成，这批Task会

网上有很多配置Spark开发的文章，配置过程非常麻烦，配置通了之后其实也不是很复杂，但是对于初学者确实还是有些难度，我决定打包所有 jdk，scalaide，hadoop，spark 的包，做成一个一键开发Spark的IDE工具。并且上传一些例子，让开发者

val sparkConf = new SparkConf().setAppName("ChexunHourCount").setMaster("local[2]"). case class Loging(vtime

提到spark streaming，我们就必须了解一下BDAS，这个伯克利大学提出的关于数据分析的软件栈。从它的视角来看，目前的大数据处理可以分为如下三个类型：。复杂的批量数据处理，通常的时间跨度在数十分钟到数小时之间；本文要重点介绍的Spark Stre

Linux基础；Linux-shell编程；高并发：lvs负载均衡；高可用&反向代理。hadoop-hdfs理论；hadoop-hdfs集群搭建；hadoop-hdfs 2.x & api ；hadoop-MR理论 ；had

Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoop 文件系统中并行运行。通过名为Mesos的第三方集群框架

Spark的资源调优方法。主要就是通过调整spark应用的相关参数来达到控制spark的cpu、内存，executor的数量等方式来优化。--master MASTER_URL ：指定spark在哪里运行，默认就是local，当不给定的时候使用默认值，--

最近几个月以来，业界对于Apache Spark项目的兴趣与投入迎来了显著提升，而这皆要归功于云客户规模的不断拓展。就在上个月，多家在云及商业计算领域声名显赫的巨头公开表达了对Apache Spark数据分析项目的兴趣。这种兴奋当然不会毫无来由，事实上这项