它是一个分布式文件管理系统，用来存储文件，通过目录树来定位文件；由多个服务器联合起来实现功能，集群中的服务器有各自的角色。适合用来做数据的分析，并不适合用来做网盘应用。　　1.1.1NameNode：就是master，它是一个主管。　　　　管理HDFS

-- 完全分布式文件系统的名称 ：schema ip port -->. -- 分布式文件系统的其他路径的所依赖的一个基础路径，完全分布式不能使用默认值，因为临路径不安全，linux系统在重启时，可能会删除此目录下的内容-->. --

首先我们来认识一下HDFS， HDFSHadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件，为了降低文件丢失造成的错误，它会为每个小文件复制多个副本，以此来实现多机器上的多用户分享

　　两种命令均可使用，效果相同。　　3）查看hdfs文件系统中指定目录文件列表。　　　　　　hadoop fs -ls -R / #显示根目录了下所有文件件以及所有子文件夹中的文件。　　　　hdfs dfs -appendToFile linuxFile

· libexec：各个服务的shell配置文件目录，比如配置日志输出目录、启动参数等。·include：对外提供的头文件，由C++定义。会保存hdfs的NameNode的信息和DataNode的数据。·hdfs的副本个数，默认为3。·当启动 yarn时，

注意：输出目录“/data/wc/output”，必须是空目录，否则会报错。

　　HDFS是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分，因为它涉及到数据存储，MapReduce等计算模型都要依赖于存储在HDFS中的数据。HDFS是一个分布式文件系统，以流

2.调用FSDataOutputStream的write方法 同时该流告诉Namenode addblock

⑤客户端根据自己设置的块大小，开始上传第一个块，默认0-128M,NN根据客户端上传文件的副本数，根据机架感知策略选取指定数量的DN节点返回。假如一个packet在发送后，在收到DN返回的ack确认消息时超时，传输中止，ackquene中的packet会回

HDFS的组成，NameNode，DataNode，SecondaryNameNode作用？HDFS的块大小，为什么不能太大，也不能太小？dfs是fs的实现类。[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>}

hive需要用到hdfs存储文件，需要用到MapReduce计算框架。hive的意义就是把好写的hive的sql转换为复杂难写的map-reduce程序。hbase是物理表，不是逻辑表，提供一个超大的内存hash表，搜索引擎通过它来存储索引，方便查询操作。

--query "$2" ‘ and $CONDITIONS;‘ # 指定满足sql和条件的数据导入。--incremental 导入模式\ # 用来指定增量导入的模式，append和lastmodified. 导入数据时采用–n

打算通过yum安装软件，发展之前有软件残骸。使用yum remove也无效，使用rpm -e也无法删除这个软件包。

分布式文件系统的结构。HDFS的文件被分成块进行存储。负责管理分布式文件系统的命名空间。EditLog：记录了所有针对文件的创建、删除、重命名等操作。定期向名称节点发送自己所存储的块的列表。每个数据节点中的数据会被保存在各自节点的本地linux文件系统中

Hadoop诞生于2006年，是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文自行实作

我用的是hadoop 2.8.3 在 Centos 7 上面，所以下面的一些命令也是针对这个版本的。因为不同的版本之间命令有可能是不一样的。安装好hadoop 以后，就是看下怎么样往上面放文件了。目前主要是两种方式，一种是shell，也就是用hdfs 的命

sqoop导入数据后hdfs下面会有相应的文件如果继续执行相同的命令会出现问题。

我经常会从客户或者网上听到这个问题，尤其是最近几年。那么关于spark哪些被我们神化了，哪些又是真实的，以及它在“大数据”的生态系统中又是怎样的？目前Hadoop生态系统主要包括：。HDFS—Hadoop分布式文件系统。此外，HDFS还是一个独立的工具，它

如果关系库表字段不是string并且也是null的话 那么导入到hdfs也用\N存储

默认oozie系统库在 oozie.site.xml中 用 <value>/user/${user.name}/share/lib</value>中产生。system share lib 是为像 DistCp, Streaming,