Hadoop和HDFS内容：1.什么是HDFS文件系统？HDFS是大数据开源框架hadoop的组件之一，全称，它是一个分布式文件系统，由多台服务器联合起来实现文件存储功能，通过目录树来定位文件，集群中的服务器都有有各自的角色.

漫长的启动时间…………思考：每次都一个一个节点启动，如果节点数增加到1000个怎么办？早上来了开始一个一个节点启动，到晚上下班刚好完成，下班？这些名称是我的三台机器的主机名，各位请改成自己的主机名！如果集群是第一次启动，需要格式化NameNode，这里使用

三台机器之间的免密登陆ssh. 说明ip映射没有配置正确，正确的方式是在每一个节点上，都执行"内外外"的配置方式，即将本机与本机的内网ip对应，其他机器设置为外网ip. --SecondayNameNode默认与NameNode在同一台

最后选择要打包的项目，存放打包项目的位置，然后finish就可以进行打包了。

配置 hadoop 高可用集群的原因：如果集群只有一个 NameNode，若NameNode 节点出现故障，那么整个集群都无法使用，也就是存在单点故障的隐患，hadoop 高可用集群能够实现 standby NameNode 自动切换为 active。HA

Failed while trying to construct the redirect url to the log server. Log Server url may not be configured Unknown container. Con

顶部 bulid->bulid project 然后右侧打包package 在target下拷贝jar包到桌面上。hadoop fs -ls /wcresult hadoop fs -cat /wcresult2/part-0000

在master节点上安装配置完成Spark后，将整个spark目录拷贝到其他节点，并在各个节点上更新/etc/profile文件中的环境变量。- 在master节点启动Hadoop集群- 在master节点启动spark [spark-2.4.

　　　　　　　　　　　　hadoop主备高可用故障转移机制。　　　　　　　　　　　　NameNode和2nn. 　　　　　　zookeeper保姆机制。hbase之查询路由(解决元数据信息不断增大

下载路径

Hadoop和Apache Spark究竟有什么异同。首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同。同时，Hadoop还会索引和跟踪这些数据，让大数据处理和分析效率达到前所未有的高度。相反，Spark也不是非要

系统偏好设置->共享->点击选中 远程登录 . -- 指定HDFS老大的通信地址 -->. -- 指定hadoop运行时产生文件的存储路径 -->

1.sqoop-1.4.x.tar.gz在1.4.5以上的安装包已经没有了这个jar包，在linux下上传,解压sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz

　　Spark把中间数据放到内存中，迭代运算效率高。　　Hadoop MapReduce将计算结果保存到磁盘上，这样会影响整体速度，而Spark支持DAG图的分布式并行计算的编程框架，减少了迭代过程中数据的落地，提高了处理效率。　　Spark引进了弹性分布

20/01/13 21:56:11 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=. -rw-r--r-- 1 root root

[ hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager. [ hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager. [ hadoop-2.7.2

2）安装 java-1.8.0-openjdk-devel,由于之前的hadoop上面已经安装过，这里不再安装，若是新机器要安装。6）创建 mkdir /tmp/zookeeper，每一台都要nn01 conf]# mkdir /tmp/zookeeper

Hadoop 是一个应用Java语言实现的软件框架，廉价的计算机组成的集群运行海量数据的分布式并行计算框架，支持上千个节点和PB级别的数据。hadoop集群Hadoop --- 衍生出整个生态体系 ---- 整个体系的基石。Hadoop Common：支

SecondaryNameNode辅助名称节点端口号：50090. 历史服务器web访问端口：19888. 然后就是各个组件的介绍了，简单的介绍一下就好了。-- 指定Hadoop运行时产生文件的存储目录 -->. -- 如果 HDFS 上有一个节点