1. Spark SQL is not about sql, Aims to Create and Run Spark programs faster. 　　2. DataFrames APS is an extension to the existi

零，第0章-课程介绍。大数据的基本概念、关键技术和代表性软件。介绍Scala语言基础语法。Spark简介、运行架构、RDD的设计与运行原理、部署模式。Spark的基本安装方法，如何在spark-shell中运行代码以及如何开发Spark独立应用程序。RDD

========== Spark SQL ==========1、Spark SQL 是 Spark 的一个模块，可以和 RDD 进行混合编程、支持标准的数据源、可以集成和替代 Hive、可以提供 JDBC、ODBC 服务器功能。统一的数据访问方式，Spa

1、spark 一开始使用 akka 作为网络通信框架，spark 2.X 版本以后完全抛弃 akka，而使用 netty 作为新的网络通信框架。

今天是spark专题的第四篇文章，我们一起来看下Pair RDD。在之前的文章当中，我们已经熟悉了RDD的相关概念，也了解了RDD基本的转化操作和行动操作。KV很好理解，就是key和value的组合，比如Python当中的dict或者是C++以及Java当

1】Receiver是使用高层次的consumer Api来实现的。receiver 接收的消息都是存储在spark Executor中的，然后spark启动jobq去处理那些消息。然而，默认情况下，这种方式会因为底层的失败丢失数据。如果要启用高可靠机制，

本质上是一种分布式的内存抽象，表示一个只读的数据分区集合。一个RDD通常只能通过其他的RDD转换而创建，RDD定义了各种丰富的转换操作，通过转换操作，新的RDD包含了如何从其他RDD衍生所必须的信息。这些信息构成了RDD之间的依赖关系。而其中窄依赖的所有转

最近使用Pyspark的时候，遇到一些新的问题，希望记录下来，解决的我会补充。方法一：使用take之后，再索引 —— some_rdd.take[5] ：即表示取前10个中的索引为5的元素；据说是防火墙原因，但是本人尚未尝试。

　　乍一看，感觉有些难理解，我们来一起探索下！

我们之前介绍了spark的核心RDD，它是spark操作的基本单元。但是对于spark集群来说你还需要它的其它概念，比如我们操作RDD的时候，资源由谁来管理、任务由谁来执行等等。driver和executor是什么先不用管，总之记住一个基于spark的应用

sparkUi的4040界面已经有了运行监控指标，为什么我们还要自定义存入redis？想对哪个阶段的事件做一些自定义的动作，变继承SparkListener实现对应的函数即可，这些方法会帮助我监控spark运行时各个阶段的数据量，从而我们可以获得这些监控指

ubuntu中没有自带安装maven，需要手动安装maven。可以访问maven官方下载自己下载。这里直接给出apache-maven-3.6.3-bin.zip的下载地址,直接点击下载即可。该程序依赖Spark Java API,因此我们需要通过Mave

//抽取含有“Spark”的行，返回一个新的RDDval lineWithSpark = textFile.filter

sudo tar -zxf ~/下载/spark-1.6.2-bin-without-hadoop.tgz -C /usr/local/. 结果应为，如图：，还有很多信息，这里只截了这么多，但可使用命令bin/run-example SparkPi 2&g

spark的开源包: apache的dist下载spark-2.4.3-bin-hadoop2.8.tgz. #刚开始运行时报 socket not created by this factory, 先是想到替换spark的包,还是不行,替换httpcli

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。

spark参数介绍

scala> val rdd2 = rdd1.map(_*2).sortBy//为什么sortBy里面用下划线不行？

2.Spark容错性高，它通过弹性分布数据集RDD来实现高容错，RDD是一组分布式存在节点内存中只读性的数据，这些集合是弹性，某一部分数据丢失或出错，可以通过整个数据集的计算流程的血缘来实现重建；MR的容错需要重新计算，成本高。

.map(fieldName => StructField(fieldName, StringType, nullable = true)). .map(attributes => Row(attributes(0), attributes(1