大家可能都知道很熟悉Spark的两种常见的数据读取方式：、调用parallelize函数直接从集合中获取数据，并存入RDD中；Java版本如下：。其实对文件来说，Spark支持Hadoop所支持的所有文件类型和文件存放位置。过往记忆博客，专注于hadoop

"select * from TBLS where TBL_ID >= ?

## Count of RPC Listener instances spun up on RegionServers. ## 一个 region server 可以同时处理的请求个数 , 超过这个值的请求会在 Queue 里排队。## 2. MemS

假设正在收集以下数据元素。我们可以将它们存储在名为 LOG_DATA 的 HBase 表中，但 rowkey 会是什么呢？rowkey [timestamp][hostname][log-event] 受单调递增的行键/时间戳数据中描述的单调增长 rowk

将 E:\hbase-2.2.3\lib\client-facing-thirdparty下的jar包拷至lib目录下。新建环境变量HADOOP_HOME，值为E:\hadoop-common-2.2.0-bin-master

HBase Snapshots允许你对一个表进行快照，它不会对Region Servers产生很大的影响，它进行复制和 恢复操作的时候不包括数据拷贝。导出快照到另外的集群也不会对Region Servers产生影响。下面告诉你如何使用Snapshots功能

　　采用列式存储还有一个好处就是可以方便的进行编码和压缩，因为一列中的值大概率是有大量重复的，可以对于这些重复的值进行编码以及压缩，节省存储空间。　　综合来看，上述两点其实描述了HBase处理数据的特点，就是只要一个列簇满足条件，那么这个region下面所

public static void addData(String tableName, String rowKey, String familyName, String. HTable table = new HTable;//HTable负责跟记录相关

HBase读写数据大多数是通过RK，MemStore/HFile存储也是按照字典顺序排列的RK存储，所以要关注RK。RowKey不应该超过16字节，因为若是过长再以KV形式存储，对于HFile和MemStore来说会极大的占用存储空间。保证RowKey的唯

private String zookeeperQuorum;private String clientPort;private String znodeParent;return new HbaseTemplate(conf);private Hbase

-- 0.98后的新变动，之前版本没有.port,默认端口为60000 -->. <value>/usr/zookeeper-3.4.9/zkdatas</value> #hbase把数据存放在zookee

region，表的切片，类似mysql中的表的概念。Region是一张表的横向切片。物理存储时，会将一行信息拆分成多行，每一行包含rowKey、列族名称、列名称、时间戳、操作类型，value。当删除数据时，会插入一觉记录，操作类型是DEL，当DEL的时间戳

　　第二次，过几天又出现了这种情况，然后用方法1直接修复成功。　　2 之后调整了读写时间，大量写任务发生后执行完1小时，再跑大量读的任务，暂时稳定运行了一个月。

我们知道，一张 HBase 表包含一个或多个列族。HBase 的官方文档中关于 HBase 表的列族的个数有两处描述：A typical schema has between 1 and 3 column families per table. HBase

中文文档来自于BigTable。HBase是参考google的bigtable的一个开源产品，建立在hdfs之上的一个提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。是一种介于nosql和RDBMs之间的一种数据库系统，仅支持通过rowkey和

WAL用来在节点宕机后恢复写入的数据。在MemStore写满后会写入磁盘，生成一个新的HFile，一旦写入不会再修改。一个列族有一个MemStore，一个列族有多个HFile。如何准确的定位一个数据： rowKey -> column famil

hive是为了简化编写MapReduce程序而生的，使用MapReduce做过数据分析的人都知道，很多分析程序除业务逻辑不同外，程序流程基本一样。在这种情况下，就需要hive这样的用戶编程接口。Hive本身不存储和计算数据，它完全依赖于HDFS和MapRe

解决方法： 找到maven依赖的jar包，删除里面的xercesImpl.jar冲突的包即可。

环境依旧是hadoop1.2.0版本，habae0.94.8的版本，zookeeper3.4.5的版本，唯一与伪分布式不同的就是，多了2个节点，详细请参考下表配置。# The java implementation to use. Java 1.6 re

NoSQL，意思是不仅仅是SQL的扩展，一般指的是非关系型的数据库。SQL语言和关系型数据库是通用的数据解决方案，占有绝大多数的市场。使用这些数据产品并不是要取代原有的数据产品，而是为不同的应用场景提供更多的选择。HBase是Apache Hadoop中的