全面梳理大数据相关技术，从数据、算法、策略、应用和系统架构等多个维度进行剖析，既包罗万象，又深入浅出。大数据是当前最为流行的热点概念之一,其已由技术名词衍生到对很多行业产生颠覆性影响的社会现象，作为最明确的技术发展趋势之一，基于大数据的各种新型产品必将会对

1背景介绍在许多项目中ID号是一个永恒的主题。在绝大多数情况下，这个唯一ID产生相对比较容易，毕竟现在众多的项目都是基于数据库的，只要把数据库的主键拿出来作为ID就可以确保ID在整个系统中的唯一性了。但也存在一些特殊情况。考虑到订单的特殊性，有时候会被要求

加密算法按是否可逆分为单向加密和双向加密。单向加密是不可逆的，也就是说只能进行加密，不能进行解密。常见的单向加密算法有MD5和SHA等。对称加密的优点在于加解密的速度快和破解难度和密钥长度正相关。非对称加密指加密和解密使用不同的密钥进行加解密的算法，因此也

RIPEMD-160是对RIPEMD-128的改进,RIPEMD-160输出160位的Hash值,对160位Hash函数的暴力碰撞搜索攻击需要2的80次方次计算,设计充分吸取了MD4,MD5,RIPEMD-128的一些性能,使其具有更好的抗强碰撞能力.它旨

private static final char[] HEX_DIGITS = { '0', '1', '2', '3', '4', '5','6', '7', '8', '9', 'a', 'b', 'c', 'd', 'e', 'f' };* Tak

shareid=220098&uk=3475027816

当增量减到1时，进行直接插入排序后，排序完成。064基本思想：在要排序的一组数中，选出最小的一个数与第一个位置的数交换；065然后在剩下的数当中再找最小的与第二个位置的数交换，如此循环到倒数第二个数和最后一个数比较为止。

查找简单理解即为在集合中查询获取需要的元素，不同的查询条件以及集合中数据的存储方式决定了使用不同的查找方法。又称线性查找，是从数组的第一个元素开始查找，直到找到待查找元素的位置，直到查找到结果。算法思路：给定一个key值，在数组中顺序对比，若存在k=key

国家必须要有属于自己的一套加密机制才行。。。分享下看哪位看得懂其中的原理。国家密码管理局于2010年12月17日发布了SM2椭圆曲线公钥密码算法，并要求为对现有基于RSA算法的电子认证系统、密钥管理系统、应用系统进行升级改造。关于算法标准，请参见《国家密码

这些算法又称摘要算法，就类似给一篇短文做一个提纲一样。相同的短文，做出来的提纲是相同的，因此，可以根据提纲来判断是不是那个短文；又因为只有提纲，是无法知道原来的短文具体是怎么写的，所以又是不可逆的。所以这种算法通常被用作对数据进行签名。BASE64的实现类

1TB排序通常用于衡量分布式数据处理框架的数据处理能力。Terasort是Hadoop中的的一个排序作业。本文主要从算法设计角度分析Terasort作业。这种设计思路可以保证在 map阶段并行度很高，但在reduce阶段完全没有并行。每个reducetas

比如在一些下载页面里会给出一个md5的作为文件验证串，在迅雷下载中作为文件的唯一标识。这类算法严格上来说也不是加密算法，是一种叫做摘要算法的算法，不过在平时的使用中，我们经常将摘要算法混合使用，所以在广义上来说也可以将他叫为加密算法。摘要算法的特点是可以将

最近两天和群里的朋友讨论计算小于等于N的素数的个数。最直接的算法就是对于每一个数i，计算i除以从2到i的平方根，任意一个能除尽都说明i不是素数。但这种算法效率很低，还有很大的改进空间，也有不同方式改进。总体来说多线程比起算法优化效果稍差一点儿。

不显示的产生结果类簇，而是为聚类分析生成一个增广的簇排序，这个排序代表了各样本点基于密度。过该样本点不存在于结果队列中，则将其放入有序队列中，并按可达距离排序；的细微变化并不会影响到样本点的相对输出顺序，这对我们分析聚类结果是没有任何影响。相同的样本点集合

甲想将一份合同文件通过Internet发给远在国外的乙，此合同文件对双方非常重要，不能有丝毫差错，而且此文件绝对不能被其他人得知其内容。如何才能实现这个合同的安全发送？可以采用一些成熟的对称加密算法,如DES、3DES、RC5等对文件加密。最简单的证书包含

Google应用PageRank算法给每个网站分配了一个从0～10的数字，它代表了一个网站的重要性。PageRank根据网页之间的超链接来确定一个页面的等级。其实，PageRank算法的计算过程可以形象的看作“投票”过程。粗略的说，每个网站的PageRan

你能做出来几个？

一致性哈希是最近在看MEMCACHE在分布式应用时听到的概念，了解了一下，以下用个我喜欢的方式解释一下：。四个黑帮想抢一块圆环型的地盘怎么分呢？于是4位老大算了算，各自占了自己的域名。老大就是memcache，居民就是数据，就算再加MC，原来的分配表可以得

推荐系统估计是以后的一个大的方向，应用广泛，根据用户个性化地定制或自动推荐，提高用户体验。像亚马逊首页的商品推荐，以后的搜索推荐等等。最近听了一些讲座和分享，自己也学习了一下，下面做一点总结和分享。簇模量比传统协同过滤有着更好的线上性能和可扩展性，因为前者

选择一个素数，对模式串和待处理串，进行取余处理，这就是预处理过程，然后以模式串的余数去和待处理串处理的余数进行对比，如果相同，则可能是匹配的地方，但可能出现伪匹配的时候，还要进行二次判断。其中在对待处理串进行取余处理时，可以采用霍纳法则。