先开始一直纠结我是用hadoop用户登录操作的，为什么会是dr.who，dr.who其实是hadoop中http访问的静态用户名，并没有啥特殊含义，可以在core-default.xml中看到其配置，另外，通过查看hdfs的默认配置hdfs-default

假设存储在NameNode节点的硬盘中，因为经常需要随机访问和响应客户请求，必然效率太低，所以是存储在内存中的。但是，如果存储在内存中，一旦断电，元数据丢失，整个集群便无法工作，因此会在硬盘中产生备份元数据的Fsimage. 但是这样又会有新的问题出现，当

hadoop源码编译后的客户端，便于改动追踪代码。上传文件，ec目录和普通目录均上传测试：

HDFS提供对应用程序数据的高吞吐量访问，高可靠服务。创建后除了追加和删除之外(append的实现也很曲折，很复杂的异常逻辑https://caodaoxi.iteye.com/bl...，无更改。直接写文件+多副本，读共享内存+就近。主要关注高可靠。删除

由于我们团队是最近上的 Kerberos ，免不了会出现一些问题，现阶段还处于踩坑阶段。希望通过我们的填坑的经历，帮助到同样身处坑内的伙伴。我们使用的 Hortonworks-HDP 环境。HDFS Delegation Token 问题被发现于一个 Lo

采集需求:服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到 HDFS 中去根据需求，首先定义以下 3 大要素。采集源，即 source——监控文件目录 : spooldir下沉目标，即 sink——HDFS 文件系统 : hd

简介概要Flume是一个分布式，可靠性和可用性的系统，此系统用于收集、聚合和移动大量数据日志数据，从各种各样的数据源将数据移动到数据存储中心。Flume不仅仅是日志数据聚合。由于数据源是可以自定义，Flume可以用于传输大量事件数据不局限于流量数据，社交媒

大数据，无论是从产业上，还是从技术上来看，都是目前的发展热点。在中国，政府控制着80%的数据，剩下的多由“BAT”这样的大公司拥有，中小企业如何构建自己的大数据系统？其他企业如何建设自己的大数据系统？这些临时文件通常保存7天，以便加快针对同一数据集的任何处

伴随着各大互联网公司开源自己的大数据框架，大数据处理领域的框架已经比较完善。到现在所谓大数据的框架已经用过habase、zookeeper、kafka、storm，根据项目计划，接下来还要使用spark。虽然在众多框架中仅仅几个，但是也是已经涉及多个方面：

Hadoop3版本中添加了哪些新功能，Hadoop3中兼容的Hadoop 2程序，Hadoop 2和Hadoop 3有什么区别？本节将讲述Hadoop 2.x与Hadoop 3.x之间的22个差异。现在让我们逐一讨论。Hadoop 2.x - 对于数据平衡

大数据的火爆是泡沫吗？想想大数据的作用，就立刻会打消这种想法。大数据是人工智能的数据基础，是企业预测的必备技术，是未来科技的发展方向！当然了在这里，很多人会说，大数据同样会泄漏个人隐私，但你想想大数据仅仅是一门技术，肯定是有一定的双刃性的，如果利用好了，国

与Linux文件权限类似 r: read; w:write; x:execute，权限x对于文件忽略，对于文件夹表示是否允许访问其内容 如果Linux系统用户zhangsan使用hadoop命令创建一个文件，那么这个文件在HDFS中owner就