系统的不断扩大，分布式锁是最基本的保障。与单机的多线程不一样的是，分布式跨多个机器。线程的共享变量无法跨机器。为了保证一个在高并发存场景下只能被同一个线程操作，java并发处理提供ReentrantLock或Synchronized进行互斥控制。但是这仅仅

Redis支持5种数据类型：string（字符串），hash（哈希），list（列表），set（集合）及zset。value不仅可以是字符串，也可以是数字。因为是二进制安全的，所以你完全可以把一个图片文件的内容作为string来存储。Redis的strin

前言现在的业务场景越来越复杂，使用的架构也就越来越复杂，分布式、高并发已经是业务要求的常态。像腾讯系的不少服务，还有CDN优化、异地多备份等处理。说到分布式，就必然涉及到分布式锁的概念，如何保证不同机器不同线程的分布式锁同步呢？

一台作为Namenode，cc-staging-session2命名为master，两台作为dataNode，cc-staging-front命名为slave1, cc-staging-imcenter 命名为slave2. #在3太机器上创建相同的目录路

众所周知, 在多线程中，因为共享全局变量,会导致资源修改结果不一致，所以需要加锁来解决这个问题，保证同一时间只有一个线程对资源进行操作。但是在分布式架构中，我们的服务可能会有n个实例，但线程锁只对同一个实例有效，就需要用到分布式锁----redis set

由于API接口无法控制调用方的行为，因此当遇到瞬时请求量激增时，会导致接口占用过多服务器资源，使得其他请求响应速度降低或是超时，更有甚者可能导致服务器宕机。限流指对应用服务接口的请求调用次数进行限制，对超过限制次数的请求则进行快速失败或丢弃。"l

章将介绍区块链系统的另一个基石——共识算法。通常的理解是共同的认识、一致的看法。识指的是区块链系统中各个节点账本数据同步的实现。因此，本章将从简单的分布式一致算法开始，一步步引导读者学习共识算。只要能掌握分布式一致算法的“美人心”，各类共识算法都会有似曾相

分布式计算的目的：节省计算时间，提高计算效率。利用延伸框架进行操作，避免大量的底层代码。namenode负责：接收用户的请求，维护文件系统的目录结构，称为命名空间。TskTracker负责：执行JobTracker分配的任务

本文依据盘古团队的吴洋分享了《盘古：飞天分布式存储系统实践》视频整理而成。他主要从以下三个方面进行了分享：盘古是什么？盘古是用来解决什么问题的？他主要介绍了盘古的分布式系统架构和设计理念。盘古三副本强一致，三副本位于不同的故障域，故障时自动数据复制。如上图

Zookeeper是hadoop的一个子项目，虽然源自hadoop，但是我发现zookeeper脱离hadoop的范畴开发分布式框架的运用越来越多。今天我想谈谈zookeeper，本文不谈如何使用zookeeper，而是zookeeper到底有哪些实际的运

简单说，分布式是以缩短单个任务的执行时间来提升效率的，而集群则是通过提高单位时间内执行的任务数来提升效率。如果一个任务由10个子任务组成，每个子任务单独执行需1小时，则在一台服务器上执行改任务需10小时。假设有10个任务同时到达，10个服务器将同时工作，1

首先，“异步服务”完整的解释应该是客户端以异步通信的方式调用Web服务；而非服务端必需要实现一个异步处理机制的服务端Web服务；其次，应用架构设计中是否应用“异步服务”完全取决于客户端应用场景所需，服务端应用无需刻意进行任何设计和实现；抛离上述三个场景，均

Google Chubby的作者Mike Burrows说过这个世界上只有一种一致性算法，那就是Paxos，其它的算法都是残次品。Paxos算法问世已经有将近30年的历史了，是目前公认最有效的解决分布式场景下一致性问题的算法之一，但是缺点是比较难懂，工程化

前言不知道你是否遇到过这样的情况，去小卖铺买东西，付了钱，但是店主因为处理了一些其他事，居然忘记你付了钱，又叫你重新付。又或者在网上购物明明已经扣款，但是却告诉我没有发生交易。这一系列情况都是因为没有事务导致的。这说明了事务在生活中的一些重要性。有了事务，

本文在上篇文章的基础上在深入了解下这两种分布式一致性协议。主要来分析下为什么2PC存在数据一致性问题，3PC是如何解决了部分2PC存在的问题的，以及为什么3PC还存在可能导致数据不一致的情况。对分布式系统的概念及2PC和3PC不了解的朋友建议先阅读分布式系

随着互联网的发展，各项软件的客户量日益增多，当客户量达到一定峰值时，当数以万计的流量来临时，程序的顺利运行以及即时响应则显得尤为重要，就像双11那天的淘宝一样。那么，如何设计架构才能够抗住这千万级的流量。

整体架构OCFS2文件系统整体比较复杂，涉及的内核模块多达七八个。各个内核模块的名称及调用关系如图1所示。为了便于理解，我们对这个软件模块关系进行简化。关于各个模块的详细分析我们放在后面，这样更利于理解。从下网上分别是集群层，分布式锁和OCFS2文件系统。

AI 前线导读： 做过分布式系统的人都知道，想要在大规模集群下处理高并发事务时同时满足 CAP，从理论上来说非常困难。FaceBook 的 LogDevice 就实现了。9 月 12 日，Facebook 正式宣布开源 LogDevice，为从事分布式实时

分布式系统从最早的数据共享需求，发展到现在的 serverless 架构。它伴随着技术的发展与公司实际需求变化而演进。现在的云服务提供商简化了分布式系统开发的复杂性，让应用开发者只需关注开发，而把基础设施管理交给大型的云服务提供商。回顾分布式系统发展的历史

分布式爬虫架构并不是一开始就出现的。而是一个逐步演化的过程。利用服务器不关机的特性，爬虫可以不间断的24小时运行。这一点显而易见，之前是单机运行，现在是多机分布式运行，效率显著提高。2，爬虫可靠性可用性提高。之前部署在一台服务器上，当服务器出现故障或爬虫程