本文是对于自己编译的Spark部署，如果是CDH集成的Spark则可直接在管理界面中查看。其中spark.eventLog.dir保存日志相关信息的路径，可以是hdfs://开头的HDFS路径，也可以是file://开头的本地路径，都需要提前创建。

整个HDFS集群只有一个NameNode，它存储整个集群文件分别的元数据信息。这些信息以fsimage和edit logs两个文件存储在本地磁盘，Client通过这些元数据信息可以找到相应的文件。NameNode还负责监控DataNode的健康情况，一旦发

记录一下安装hadoop遇到的问题，以便后面再次遇到有个解决方式的记录，也方便其他人解决相同的问题。从字面上来看就是本地的hadoop的库并不适用于本机的平台。网上搜索后发现可能是以下三种问题导致的：。问题一：native-hadoop的库是32位的，而系

写在前面的话，学Hive这么久了，发现目前国内还没有一本完整的介绍Hive的书籍，而且互联网上面的资料很乱，于是我决定写一些关于《Hive的那些事》序列文章，分享给大家。今天的话题是总结Hive的几种常见的数据导入方式，我总结为四种：。、从本地文件系统中导

Linux系统里，个人觉得最大的不方便之一就是没有回收站的概念。rm -rf很容易造成极大的损失。而在Hadoop或者说HDFS里面，有trash(回收站)的概念，可以使得数据被误删以后，还可以找回来。Hadoop里的trash选项默认是关闭的，所以如果要

hdfs会把文件分拆成固定尺寸的data blok。application master守护进程会首先向hdfs的namenode节点获取文件做对应的所有data block的位置，并把data blok计算为input split。然后applicati

在对HDFS格式化，执行hadoop namenode -format命令时，出现未知的主机名的问题，异常信息如下所示：

问题导读1.Hadoop3.x通过什么方式来容错？Hadoop3版本中添加了哪些新功能，Hadoop3中兼容的Hadoop 2程序，Hadoop 2和Hadoop 3有什么区别？本节将讲述Hadoop 2.x与Hadoop 3.x之间的22个差异。现在让我