//1.vm arguments中添加后面的参数来修改用户 -DHADOOP_USER_NAME=hadoop

hyperbase和hbase一样，底层数据结构的存储依托于hdfs；今天我们对星环的大数据平台组件hyperbase在hdfs上的存储做一下简单的介绍；存储hyperbase做损坏的日志文件，一般都是为空的。这个才是 hyperbase的核心目录，0.9

1.得安装我们的hadoop--java

MapReduce是一种编程模型，用于大规模数据集的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。当前的软件实现是指定一个

(*)Hadoop分布式文件系统允许管理员为使用的名字数量和用于各个目录的空间设置配额。名字配额和空间配额独立运行，但两种类型配额的管理和实施密切平行。 )配额随着fsimage一起持久化。空间配额是对根位于该目录的树中的文件使用的字节数的硬限制。最大的配

　　1.客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已经存在，父目录是否存在；　　4.NameNode返回三个DataNode节点，分别为DN1,DN2,DN3；　　5.客户端通

JournalNode负责主从数据一致；自生也是分布式的，因为有选举机制，所以默认要大于1的奇数个服务器在线。ZKFC是部署在两个NameNode节点上的独立的进程，作用是辅助ZooKeeper做NameNode的健康监控，间接来说就是ZooKeeper的

1、eclipse中编写代码后双击main方法--->Run as ---> java application ,然后指定的文件就会提交到hdfs中。

如果jps查看缺少了某个节点，首先查看xml文件是否正确，如果正确，删除hadoop/tmp文件夹，然后再次格式化，，再次启动。将flume文件下得conf中flume-env.ps1.template复制一份，改为flume-env.ps1. 修改con

Sqoop是一款开源的工具，主要用于在Hadoop与传统的数据库间进行数据的传递，可以将一个关系型数据库中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。对于某些NoSQL数据库它也提供了连接器。Sqoop，类似于其他ET

Apache Hadoop 为可靠的，可扩展的分布式计算开发开源软件。Apache Hadoop软件库是一个框架，它允许使用简单的编程模型跨计算机群集分布式处理大型数据集。Hadoop就是一些模块的相对简称!!Hadoop Common：支持其他Hadoo

hdfs 是分布式文件系统, 只支持在文件层面的增、删除、改、查。hbase 是支持海量数据存储的NoSql数据库，基于hdfs的，支持数据的增、删、改、查，支持随机写数据。Region————横向的切片，数据量大时，会把一张表横向切割成, 多个Regio

掌握在 Linux 虚拟机中安装 Hadoop 和 Spark 的方法；掌握使用 Spark 访问本地文件和 HDFS 文件的方法。成 Hadoop 伪分布式模式的安装。使用 hadoop 用户名登录进入 Linux 系统，启动 Hadoop，参照相关 H

在前面的文章中，介绍过 HBase 的入门操作知识，但对于正考虑将 HBase 用于生产系统的项目来说还是远远不够。一般在对 HBase 做选型之前，还需要学习一些它的架构原理、弹性扩展及可靠性方面的知识。本文来自笔者此前对 HBase 做的学习概括，可方

为了保证nameNode出现故障的时候，nameNode的切换速度。active nameNode将信息写入共享编辑日志文件，standby nameNode则读取共享文件，从而保持与active nameNode的同步。此外，集群中的dataNode要向

hdfs文件系统主要设计为了存储大文件的文件系统；如果有个TB级别的文件，我们该怎么存储呢？hdfs为了满足大文件的存储和可读性，对数据进行切成多个小块进行存储，同时为了保证数据的可靠性，又对每个小块数据做复制，然后分别存储到多个节点中。hdfs2.7.3

设计思想——分而治之：将大文件、大批量文件分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析。在大数据系统中作用：为各类分布式运算框架提供数据存储服务。其次，它是分布式的，有很多服务器联合起来实现其功能，集群中的服务器有各自的角色；目

在浏览器中打开localhost:50070. 在根目录下新建msq文件夹。2）本地上传文件。删除/msq及其子目录。6)集群之间复制文件。　由于我们实现没有事先设置/1这个文件夹 默认/1此时是个文件

header部分由一个字节的magic和四个字节的CRC32构成。当magic的值为1的时候，会在magic和crc32之间多一个字节的数据：attributes；如果magic的值为0，那么不存在attributes属性。　　Map端会处理输入数据并产生

HDFS是存取数据的分布式文件系统，那么对HDFS的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的shell对文件的操作，如ls、mkdir、rm等。其中schem