系统找不到指定的路径。而我们的jdk安装在jdk的默认安装路径下，所以该文件路径有可能需要管理员访问权限才可以访问，所以如果像上图中这样配置会导致hadoop安装失败，失败的原因则是未检测到jdk环境，才会报Error: JAVA_HOME is inco

运行的前提是安装配置好hadoop. 虽然看起来步骤不是很多，内容也比较简单，但是坑还是挺多的。

今天是第一篇，目标是厘清什么是中台。特别是很多原来称作平台的，现在也都摇身一变成了中台，赶时髦。所以那个大大的Hadoop并不是数据中台，而是大数据平台。

系统找不到指定的路径。而我们的jdk安装在jdk的默认安装路径下，所以该文件路径有可能需要管理员访问权限才可以访问，所以如果像上图中这样配置会导致hadoop安装失败，失败的原因则是未检测到jdk环境，才会报Error: JAVA_HOME is inco

近日，Hadoop 领域发生几件不太美好的事情，先是 MapR 宣布如果无法获得新的投资，就必须要裁员百余人，并关闭硅谷总部，再是 Cloudera 股价暴跌 43%，估值缩水。眼看 Hadoop 三大商业公司起高楼，为何忽然之间楼斜了呢？为了搞清楚其中原

Job执行可以分为本地执行或者集群执行。hadoop集群安装部署在远程centos系统中。使用经典的WordCount代码为例。public class WCMapper extends Mapper<LongWritable, Text, Text

Hadoop是一个由Apache基金会所开发的分布式系统基础架构，主要解决，海量数据的存储和海量数据的分析计算问题。HDFSNameNode工作机制加载fsimage和edits.001到内存中客户端向namenode发起增删改查请求namenode记录操

TaskTracker监视任务的状态，并把状态发送JobTracker。

zookeeper单机多实例其实就是跑多个zk服务，以zkServer1为例，配置如下：其中192.168.29.128为虚拟机ip 很重要

下载后将插件放在Eclipse安装目录的plugins目录下，重启Eclipse即可。打开Window--->Perspective--->Open Perspective--->Other...，选择Map/Reduce。若没有看到此选

yum install docker-io加入开机启动。service docker start拉取基础镜像 centos. sudo docker pull insaneworks/centos制作Hadoop镜像。sudo docker run -it

127.0.0.1 tb001然后需要修改配置文件，在hadoop安装目录的./etc/hadoop下

IDE下的MapReduce开发在学校上Hadoop的课，Group Project要写一些MapReduce，学校给了cluster，但是在cluster上直接开vim写JAVA着实不怎么习惯。于是折腾了一下踩了些坑，在这里记录一下。Git部署代码首先想

0x02 安装操作系统（简要）2.1 准备安装镜像CentOS-6.5-x86_64-bin-DVD1.iso. 当Master通过SSH连接Salve时，Salve就会生成一个随机数并用Master的公钥对随机数进行加密，并发送给Master。这条命令是

* soft nofile 131072 #星号表示对所有用户生效，可替换为用户名，为针对指定用户生效。##缺省值是102400,用来确定系统开始回收内存的阈值.保持物理内存有足够的空闲空间,防止突发性的换页.对于生产环境的服务器，可以设置为内存

192.168.31.51 server-3安装 jdksudo apt install openjdk-8-jdk -y执行 java -version 可以看到版本号,安装目录在/usr/lib/jvm/java-8-openjdk-amd64,

最近又安装 hadoop 集群， 故尝试了一下配置 HDFS 的 HA，CDH4支持Quorum-based Storage和shared storage using NFS两种HA方案，而CDH5只支持第一种方案，即 QJM 的 HA 方案。关于 had

首先要搞清楚hadoop是什么，能做什么？《Hadoop权威指南》，这本书英文版已经出到第3版了，中文版是第2版。当然，在Hadoop快速发展的时代里，出现这些问题都是很正常的。我觉得等Hadoop稳定了，这本书继续改版的话，很有可能成为Hadoop的权威

折腾了一段时间hadoop的部署管理，写下此系列博客记录一下。为了避免各位做部署这种重复性的劳动，我已经把部署的步骤写成脚本，各位只需要按着本文把脚本执行完，整个环境基本就部署完了。本文的所有部署都基于cloudera公司的CDH4,CDH4是cloude