在我们安装高可用hadoop集群时，我们会按照以下命令去执行启动操作；??在备namenode节点同步元数据??那么我们为什么要对NameNode和Zookeeper进行format操作；core-site.xml 是 NameNode 的核心配置文件，主

大数据越来越热。Hadoop技术是大数据技术的基础。掌握了大数据技术，就意味着可以轻松找到高薪工作。人工智能、机器学习都是基于大数据。There are new chapters covering YARN , Parquet , Flume, Crunc

sudo vi /etc/hostname #修改主机名。安装openssh-server，所以需要自己安装一下服务端。输入 cd .ssh目录下，如果没有.ssh文件 输入 ssh localhost生成。chmod 600 authorized_k

保存退出，执行下面命令刷新，配置即可生效。此时会生成一个RSA 2048文件，生成了一对公钥，一对私钥。输入一次密码，待拷贝完成。若显示Active: active ，则表示防火墙已开启。若结果为not running,表示防火墙已关闭。需要配置其中五个配

　　　　学习都是从了解到熟悉的过程，而学习一项新的技术的时候都是从这个技术是什么？今天这篇文章分为两个部分。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统，简称H

dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。

在hadoop-2.9.2下etc/hadoop/core-site.xml中配置：。--指定HDFS中NameNode的地址-->. --指定hadoop运行时产生文件的存储目录-->. hadoop01是当前主机名。之后使用jps查看：。s

伪分布式只需要一台服务器就可以完成，搭建集群之前需要selinux和防火墙。更改hadoop程序包内 hadoop-env.sh，mapred-env.sh，yarn-env.sh中的JAVA_HOME环境变量

/opt/installed #安装包/opt/software #软件包/opt/other #其他/opt/test #测试。　　tar -zxvf hadoop-2.7.7.tar.gz -C/opt/software

常用的命令脚本：hdfs hadoop yarn 来执行对文件操作。Hadoop核心全局配置文件，可以其他配置文件中引用该文件中定义的属性，如在hdfs-site.xml及mapred-site.xml中会引用该文件的属性；用于设置所有的slave的名称或

每个节点都要安装jdk. 配置IP、主机名映射。ssh-copy-id node-* //分别拷贝到其他节点，包括自己。ssh-copy-id node-1、ssh-copy-id node-2、ssh-copy-id node-3. 环境变量文件页下发。

是一个分布式基础架构，主要解决海量数据存储以及数据分析计算问题。hadoop三大发行版本？

https://hbase.apache.org/devapidocs/org/apache/hadoop/hbase/util/MurmurHash.html https://github.com/spaolacci/murmur3https:

本课程从Hadoop核心技术入手，以电商项目为依托，带领你从0基础开始上手，逐步掌握大数据核心技术，并使用这些技术进行实战，最终完成电商行为日志分析项目，让你轻松入门大数据！系统讲解Hadoop 2.x中核心组件的原理及应用典型阶段案例+电商行为日志分析实

想法和原型系统：GOH阶段。HAWQ 1.0 Alpha：多个国外大型客户试用，当时客户性能测试是Hive的数百倍。促进了HAWQ 1.0作为正式产品发布。HAWQ 1.0 GA：改变了传统MPP数据库架构，包括事务，容错，元数据管等。HAWQ 2.0 A

Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快

MapReduce自带的分区器是HashPartitioner原理：先对map输出的key求hash值，再模上reduce task个数，根据结果，决定此输出kv对，被匹配的reduce任务取走。自定义分分区需要继承Partitioner，复写getpar

Hadoop三大发行版本：Apache、Cloudera、Hortonworks。Apache版本最原始（最基础）的版本，对于入门学习最好。Cloudera在大型互联网企业中用的较多。Cloudera产品主要为CDH，Cloudera Manager，Cl

public class WordCountMap extends Mapper<LongWritable, Text, Text, IntWritable> {. 这个Map类是一个泛型类型，它有四个形参类型，分别指定map()函数的输入键、

使用此命令：ssh-keygen -t rsa 分别在三台机器中都执行一遍,这里只在node1上做演示，其他两台机器也需要执行此命令。127.17.0.17是服务器node1的内网地址127.17.0.7是服务器node2的内网地址127.17.0.8是服