工程所依赖的jar包， hadoop-1.1.2/*.jar、hadoop-1.1.2/lib/*.jar. InputStream：输入流 OutputStream：输出流 int：缓冲区大小 boolean：传输结束后是否关闭流

8、元数据节点首先确定文件原来不存在，并且客户端有创建文件的权限，然后创建新文件。

Pivotal中国研发中心研发总监，HAWQ并行Hadoop SQL引擎创始人，Pivotal HAWQ团队负责人，曾任EMC高级研究员。专注于大数据与云计算领域，在国内外顶级数据管理期刊和会议发表数篇论文，并拥有多项美国专利。HAWQ架构以及各重要组件的

ssh：远程连接到其他节点。

private final CountDownLatch doneSignal;private int name;private String src;private String dst;private int size;private Configur

调用文件系统Shell命令应使用bin/hadoopfs<args>的形式。所有的的FSshell命令使用URI路径作为参数。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authorit

有钱人可以调5或者6dfs.replication.max512有时dn临时故障恢复后会导致数据超过默认备份数。dfs.replication.min1最小份数，作用同上。dfs.df.interval60000磁盘用量统计自动刷新时间，单位是毫秒。dfs

Spark(6)Upgrade to 1.0.2 Version again with YARNDownload the prebuilt version>wget http://d3kbcqa49mib13.cloudfront.net/spark

大数据和大数据框架大数据解决的是单机无法处理的数据。无论是存储数据还是计算数据都变得困难无比，大数据框架的出现就是为了解决这个问题，让使用者可以像使用本地主机一样使用多个计算机的处理器，像使用一个本地磁盘一样使用一个大规模的存储集群。离线计算和实时计算离线

checkpoint原理1.在代码中，当使用SparkContext可以设置一个checkpointFile文件目录，比如HDFS文件目录。后面如果rdd的cache数据获取失败，直接会通过它的上游CheckpointRDD，去容错的文件系统，比如hdfs

Amazon Dynamo是分布式的key-value系统，最近阅读了Dynamo最初的论文《Dynamo: Amazon's Highly Available Key-value Store》，本文想聊一聊它的去中心化。既有阅读相关材料后对其实现的理解，