reflect函数可以支持在sql中调用java中的自带函数，秒杀一切udf函数。create table test_udf row format delimited fields terminated by ‘,‘;hive > create ta

　　一个简单的理解：把SQL的一些操作应用在hadoop的HDFS上面。　　数据库里面有个范式的概念，也就是说数据库中的数据是没有冗余的，用于企业的一些应用。数据仓库是存在冗余数据的，主要用来对大规模的数据及进行数据分析，用户数据挖掘、数据分析。

100万用户名，50万是null，那么就是有倾斜的。查询的时候要过滤，对倾斜数据做过滤。创建2个表，一个临时表test1，一个非临时表test1；hive> create temporary table test1;OKTime taken: 0.1

Transwarp Hyperbase实时数据库是建立在Apache HBase和Elasticsearch基础之上，融合了多种索引技术、分布式事务处理、全文实时搜索、图形数据库在内的实时NoSQL数据库。因此在与Inceptor配合使用的情况下不推荐使用

sqoop 1 版本主要从1.4.0 到 1.4.7；sqoop 2 版本主要从1.99.1 到1.99.7。sqoop2 对 sqoop 1 主要在性能、安全方面做了优化升级，并新增了服务端，sqoop2 可以通过编程 rest api 的方式进行数据同

在安装完hive之后，已经迫不及待的想尝试一下hive的一些用法，我们最常用的就是直接输入hive回车，使用的是cli模式，下面介绍一下hive的使用以及一些常用的命令。--auxpath : Auxiliary jars 该选项允许用户指定一个以冒号分割

hive的日期格式可由String类型保存，只能识别两种格式yyyy-MM-dd和yyyy-MM-dd HH:mm:ss。只要将日期转为这两种格式hive就能识别为日期。也就是不管to_date、to_char都是将日期格式化为字符串。unix_times

Hive由FaceBook开发，用于解决海量结构化日志的数据统计。这是数据默认存储在Hive自带的derby数据库中，推荐使用MySQL数据库存储MetaStore。对于Hive来说默认就是Mapreduce任务。系统自动实现类型转换，不需要客户干预。可以

现有几千条数据，需要插入到对应的Hive/Impala表中。安排给了一个同事做，但是等了好久，反馈还没有插入完成……比在MySQL中批量插入数据慢多了，因而抱怨Impala不太好用。首先，必须明确的是，把每条数据处理成insert语句的方式，肯定是最低效的

Sqoop 工具是hadoop环境下连接关系数据库，和hadoop存储系统的桥梁，支持多种关系数据源和hive,hdfs,hbase的相互导入。一般情况下，关系数据表存在于线上环境的备份环境，需要每天进行数据导入，根据每天的数据量而言，sqoop可以全表导

Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。在这种情况下，为查询触发执行任务消耗的时间可能会比实际job的执行时间要多的多。这时JVM的启动过程可能会造成相当大的开销，尤其是执行的job包含有成百上千task任务的情况

大数据已然成为当今最热门的技术之一，正呈爆炸式增长。每天来自全球的新项目如雨后春笋般涌现。幸运地是，开源让越来越多的项目可以直接采用大数据技术，下面就来盘点最受欢迎的十大开源的大数据技术。它已成为大数据系统在异步和分布式消息之间的最佳选择。目前大量的公司采

但在一般情况下，分支限界法与回溯法的求解目标不同。回溯法的求解目标是找出T中满足约束条件的所有解，而分支限界法的求解目标则是找出满足约束条件的一个解，或是在满足约束条件的解中找出使某一目标函数值达到极大或极小的解，即在某种意义下的最优解。分支搜索算法 所谓

HIVE体系结构HIVE体系结构Hive架构与基本组成单用户模式多用户模式 远程服务器模式。Hive的数据模型：Hive数据库内部表外部表分区桶Hive的视图Hive的执行原理Hive和数据库的异同Hive元数据库Hive基本操作使用HIVE注意点Hive

不用于关系数据库partition中的字段可以不再table中，但是partition中的字段可以如同table中column一样使用这样可以加快查询速度，因为只用查找一个目下文件就可以了这里分区分为单分区partition一个column，多分区part

按正条件显示表，

发送方需要把对象转化为字节序列才可在网络上传输，称为对象序列化；接收方则需要把字节序列恢复为对象，称为对象的反序列化。

SAR This tips explains how to create and deploy the SAR file in the JBoss application server. SAR files are only used in the JBo

他爸的博客文章：

An error occurred while collecting items to be installed