[Fatal Error] total number of created files now is 100028, which exceeds 100000. Killing the job.

用于等级、百分点、n分片等。RANK（）在出现等级相同的元素时预留为空，DENSE_RANK()不会。这样，就会按照month来分，即所需要排列的信息先以month的值来分组，在分组中排序，各个分组间不干涉。可以计算一定范围内、一定值域内、或者一段时间内的

执行加载数据添加分区时hivedata/ 文件夹下的数据会被移动，并创建分区目录logdate=2015-02-26，数据移动到此目录下。alter table employee drop partition ; 执行删除分区目录时，已经创建year=20

常见的hive查询操作有：count、group by、order by、join、distribute by、sort by、clusrer by、union all. count(*) 所有值不全为NULL时，加1操作；样例：select col1,o

主要是因为在job完成后所得到的Counters是整个job的总和，优化是基于这些Counters得出的平均值，而由于数据倾斜的原因造成map处理数据量的差异过大，使得这些平均值能代表的价值降低。

如果通过 load data local inpath '/opt/stu.txt' into table stu 这种上传本地文件数据方式到Hive制造hive NULL的时候，需要在 stu.txt中 用。对应hive string类型查询： 如果为

sql = "create table " + tableName + " row format delimited fields terminated by '\t'";sql = "show tab

简单分享个sqoop 从mysql 集群导入到hdfs hive-table 里面进行分析的例子。sqoop1.4.6,hadoop2.7,hive1.2.1 ,因为 环境原因，sqoop 没有升级到2~。# -------------- queue表

一个表可以拥有一个或者多个分区，每一个分区单独存在一个目录下。而且，表和分区都可以对某个列进行 CLUSTERED BY 操作，将若干个列放入一个桶中。create table test_like_table like test_bucket;2.删除表：

** 用户属性表（日） ************************************************************. ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED

hive的设计就是让精通SQL技能但对编写传统MapReduce程序生疏的分析师，也能对hdfs中存储的大规模数据集运行查询。但是SQL并不适合开发复杂的机器学习算法，但对很多分析任务非常有用。Hive把数据组织为表，将数据存储到HDFS中，并把元数据存储

配置完之后把mysql-connector-java-5.1.17-bin.jar上传到hive下的lib目录

原子数据类型包括数值型、布尔型和字符串类型，其中数值型有int / bigint / smallint / tinyint /double / float，布尔型为boolean，字符串类型为string。复杂数据类型包括数组、集合和结构。Hive 还提供

如果一个任务有很多小文件,则每个小文件也会被当做一个块，用一个map任务来完成，而一个map任务启动和初始化的时间远远大于逻辑处理的时间，就会造成很大的资源浪费。而且，同时可执行的map数是受限的。

在删除表的时候，内部表的元数据和数据会被一起删除， 而外部表只删除元数据，不删除数据。这样外部表相对来说更加安全些，数据组织也更加灵活，方便共享源数据。读时模式的优势是load data 非常迅速，因为它不需要读取数据进行解析，仅仅进行文件的复制或者移动。

1)Java对象创建方式及JVM对字符串处理。2)小学徒成长系列—String关键源码解析。3)小学徒进阶系列—揭开ThreadPoolExecutor神秘的面纱。1)Eclipse3.7 反编译插件安装。1)CSS控制样式的三种方式优先级对比验证。4)U

首先，geohash用一个字符串表示经度和纬度两个坐标。某些情况下无法在两列上同时应用索引 ，利用geohash，只需在一列上应用索引即可。首先根据用户当前坐标计算geohash然后取其前缀进行查询 ，即可查询附近的所有地点。Geohash比直接用经纬度的

Hive建表的时候虽然可以指定字段分隔符，不过用insert overwrite local directory这种方式导出文件时，字段的分割符会被默认置为\001,一般都需要将字段分隔符转换为其它字符，可以使用下面的命令:

count(distinct case when login_date>='2012-05-01' and login_date<='2012-05-09' and apptype

16. 反转十六进制函数: unhex 15. 21. 反正弦函数: asin 16