本文介绍了百度如何依靠开源项目Alluxio，在一个企业大数据分析解决项目Pingo中创建了一个安全、模块化和可扩展的分布式文件系统服务。此外，由于企业需要处理大量的文件，在身份验证和授权方面的安全需求迫使Pingo做出更加复杂的设计。Pingo还对All

随着CoreOS和Kubernetes等项目在开源社区日益火热，它们项目中都用到的etcd组件作为一个高可用、强一致性的服务发现存储仓库，渐渐为开发人员所关注。etcd为解决这类问题带来了福音，它是一个高可用的 Key/Value 存储系统，内部采用raf

允许消费者和生产者在RabbitMQ节点崩溃的情况下继续运行通过增加更多的节点来扩展消息通信的吞吐量1 集群配置方式RabbitMQ可以通过三种方法来部署分布式集群系统，分别是：cluster,federation,shovel. federation队列

Moosefs分布式文件系统，所需主机：管理服务器 managing server 元数据日志服务器 Metalogger server数据存储服务器 data servers 客户机挂载使用 client computers

–no-daemonize 前台输出日志 –verbose 输入更加详细的日志 –debug 更加详细的日志，排错的时候使用 –test 表示测试，就带一个–test参数就可以[root@agent ~]# puppet agent --no-daemon

本节我们将来认识下分布式文件系统，不过我主要讲的是关于其中的一个比较流行的mogilefs进行介绍，好了其他的不多说了，下面我们就开始吧。顾名思义，就是分布式+文件系统。MogileFS是一个开源的分布式文件存储系统，由LiveJournal旗下的Dang

1介绍Hadoop是一个强大的架构,用于自动并行化的计算任务。不幸的是某些编程对于它是个挑战。Hadoop程序让人难以理解和调试。有一种方法可以在开发人员的机器上本地运行一个简化版的Hadoop集群使之更容易一些。本教程描述如何设置这样一个集群运Windo

简介： 本 系列 的 用 Hadoop 进行分布式数据处理，第 1 部分：入门 展示了如何在一个单节点集群中使用 Hadoop。本文还深入探究了 Hadoop 的管理方面 — 同时基于命令行和 Web。换句话说，向工作并行分布多个节点的能力使 Hadoop

存储从理论角度提到大数据存储nosql是不得不提的一个部分CAP，BASE，ACID这些原理在过去的一些年对其有着一定的指导作用CAP：（Consistency-Availability-Partition Tolerance数据一致性（C）： 等同于所有

关系数据库的ACID：A: 事务的原子性C: 数据一致性I： 独立性，其他事务不可见D: 持续性，事务完成后更新持久化存储。replication也有很多种策略，比如机房、机架等

Gearman 是 Brad Fitzpatrick 的一个作品，用 Perl 写的任务调度程序，提供一个服务器端和多种语言的客户端接口，包括 C/Perl/Python/Ruby 等，在 client library 本身就支持一定程度的高可靠度。Gea