②通过Spark读取外部存储文件，将文件数据转变为RDD。可以从本地磁盘读取，也可以从HDFS读取

网上看到的关于Executor，Cores和Memory的分配相关博客，先记录下来，再汇总。Spark处理1Tb数据不需要1Tb的内存。具体需要多少内存是根据executor的core数量和每次读取数据集的block大小决定的。以读取hdfs上1tb大文件

大家可要小心啊。将数据写到磁盘文件之前，会先写入 buffer 缓冲中，待缓冲写满之后，才会溢写到磁盘。在实践中尝试过，发现其性能比开启了

上传scala-2.13.1.tgz和spark-2.4.4-bin-hadoop2.7.tgz到/opt/install目录。在master节点上安装配置完成Spark后，将整个spark目录拷贝到其他节点，并在各个节点上更新/etc/profile文件

RDD是Spark最基本的数据结构。RDD表示已被分区、不可变的，并能够被并行操作的数据集合。

后者负责在工作节点上执行具体任务，并将结果返回给Driver，同时为需要持久化的RDD提供存储功能。

RDD 的操作函数主要分为2种类型 Transformation 和 Action.在这里只读表示当你对一个 RDD 进行了操作,那么结果将会是一个新的 RDD, 这种情况放在代码里,假设变换前后都是使用同一个变量表示这一 RDD,RDD 里面的数据并不是

2020.2.2今天的寒假生活学习了了解Spark 内存计算框架.Hadoop使用数据复制来实现容错性，而Spark使用RDD数据存储模型来实现数据的容错性。了解了 hadoop框架 中的 HDFS Mapreduce map函数 Reduce （函数）

SparkContext是编写Spark程序用到的第一个类，是Spark的主要入口点，用于连接Spark集群、创建RDD、累加器和广播变量，是Spark程序的根本。编写不同类型的Spark程序，使用的SparkContext是不同的Scala 使用Spar

在spark streaming读取kafka的数据中，spark streaming提供了两个接口读取kafka中的数据，分别是KafkaUtils.createDstream，KafkaUtils.createDirectStream，前者会自动把of

* 同样是对某一个特征操作，各特征值除以最大绝对值，因此缩放到[-1,1]之间。且不移动中心点。不会将稀疏矩阵变得稠密。* 例如一个叫长度的特征，有三个样本有此特征，特征向量为[-1000,100,10],最大绝对值为1000，

我们有2个节点，每个节点是一个worker，每个worker上启动一个Executor，其中Driver也跑在master上。每个Executor可使用的核数为2，可用的内存为2g，集群中所有Executor最大可用核数为4。可以推测与分区数有关，测试数据

如果要顺利传输到其他目录，就必须登录Ubuntu系统，使用root权限把某个目录的权限赋予给hadoop用户。

　　　　　　　　　　　　　 　　　　　　　　　　　　　　　　　。　　　　sql的解析优化，执行引擎全是spark；　　　　可以直接访问RDD，spark的核心就是RDD；　　　　Dataframe：对RDD进行包装，自己的存储数据集合；　　　　　　　　　　

任何Spark程序员都是从SparkContext开始的，SparkContext的初始化需要一个SparkConf对象，SparkConf对象中包含了Spark集群配置的各种参数。

# Any changes need to be reflected there."${SPARK_HOME}"/bin/spark-class $CLASS --help 2>&1 | grep -v "$pa

// 6.将同一个省份的所有广告进行聚合

1.启动spark SQL时,报错:

如果Receiver所在的Executor失败了，那么Spark Streaming会在另外一个Executor上启动这个Receiver. 所以Driver端的容错是非常重要的，我们首先可以配置Driver端的checkpoint，用于定期的保存Driv

Scala对Java相关的类，接口进行了包装，所以依赖Jvm环境。配置成功，没错就是这么简单。2）新建两个maven项目在scala-base-hello 的 main 目录下创建scala文件夹，如下标记。这代码是不是看起来有点四不像？都说万事开头难，现