微软和谷歌一直在积极研究用于训练深度神经网络的新框架，并且在最近将各自的成果开源——微软的PipeDream和谷歌的GPipe。原则上看，他们都遵循了类似的原则来训练深度学习模型。这两个项目已在各自的研究论文中进行了详细介绍，这篇文章将对此进行总结。对于初

分布式系统为什么需要注册中心呢?注册中心利用现成的组件很好实现吗?看到标题你可能会鄙视一下，注册中心有是什么讲的。注册中心作为现在架构中的一个组件来说，确实很常见。微服务作为分布式系统最典型的一种表现形式，是最近几年最流行的概念之一。

开发排查系统问题用得最多的手段就是查看系统日志，在分布式环境中一般使用ELK来统一收集日志，但是在并发大时使用日志定位问题还是比较麻烦，我们来看下面的图：。我们应该尽可能的对代码无入侵，使用Logback的MDC机制日志模板中加入traceId标识，取值方

前几天在pyq发起了约稿，分布式一致性问题的选题呼声最高，分布式系统的内容是非常庞杂的，所以我们从其中几个重点的部分切入，慢慢展开。今天重点来一起学习分布式系统一致性问题，不过内容比较多需要分几次写完。作为后端从业人员，我们在找工作写简历的时候除了高并发经

但是这也可能意味着意大利面条式代码迎来新时代。就因为你告别整体式代码，并不意味着不会换成“对部署、通信、监控等方面有影响的分布式系统问题”。与更传统的软件开发一样，开发易于维护的微服务需要一种慎重周到的方法。设计微服务的关键是正确“定义它们的边界以及它们如

在微服务中，一个逻辑上原子操作可以经常跨越多个微服务。即使是单片系统也可能使用多个数据库或消息传递解决方案。使用多个独立的数据存储解决方案，如果其中一个分布式流程参与者出现故障，我们就会面临数据不一致的风险 - 例如在未下订单的情况下向客户收费或未通知客

由于目前新项目基本是微服务架构，大概有几十个项目，都是基于LCP平台研发的，而每次平台上修改配置，各个项目也都需要去修改配置，然后还要重启，况且是三套环境，维护起来特别麻烦，所以准备做一个统一的配置中心，以下是技术选型的对比。Diamond是淘宝研发的分布

数据的复制是冗余的过程,冗余会增加可用性,并且可以有效均衡读取负载。而数据的分区是一个整体转换为局部的过程,这种拆解就像你拥有大量图书,但你的书架放不下,所以需要再加几个书架存储是一个道理。将整体拆分,局部存储在多个较小空间内。这就是数据分区的意义,它是用

分布式系统从当初的CORBA 到EJB，Web和SOA，从集群到现在的NoSQL 云计算和大数据Hadoop等分布式系统，横向水平扩展Scala out/in是分布式系统设计的一个特点，可靠性、容错性是两个质量指标。什么是分布式系统？计算和存储分离是分布式

背景Squirrel（松鼠）是美团技术团队基于Redis Cluster打造的缓存系统。经过不断的迭代研发，目前已形成一整套自动化运维体系，涵盖一键运维集群、细粒度的监控、支持自动扩缩容以及热点Key监控等完整的解决方案。同时服务端通过Docker进行部署

分布式锁和我们平常讲到的锁原理基本一样，目的就是确保在多个线程并发时，只有一个线程在同一刻操作这个业务或者说方法、变量。但是我们现在的应用程序如果只部署一台服务器，那并发量是很差的，如果同时有上万的请求，很有可能造成服务器压力过大而瘫痪。如果处理不好~~每

本次分享 William 将从技术角度分析在云计算环境中，当用户业务面对流量激增、数据量翻番、访问量指数级攀升的“烦恼”时，如何利用云计算平台的弹性，结合业务自身特点，设计和构建一个高可用、高伸缩性的后端系统架构。同时会以 QingCloud 平台上的真实

系统的可扩展性是推动NoSQL运动发展的的主要理由，包含了分布式系统协调，故障转移，资源管理和许多其他特性。NoSQL需要在分布式系统的一致性，容错性和性能，低延迟及高可用之间作出权衡，一般来说，数据一致性是一个必选项，所以这一节主要是关于数据复制和数据恢

虽然分布式存储的存储层和上传下载这一层很重要，但在元数据方面有哪些选择，这些选择有什么优缺点则更为重要。在QCon北京2015大会上，七牛云存储首席架构师李道兵结合自己多年的实践和思考，分享了关于存储设计的几大方法（幻灯片），并详细地分析了各自的利弊。本文

在互联网大行其道的今天，各种分布式系统已经司空见惯。搜索引擎、电商网站、微博、微信、O2O平台。。凡是涉及到大规模用户、高并发访问的，无一不是分布式。关于分布式系统，并没有一个标准答案，说某某架构一定是最好的。不同的业务形态所面对的挑战不一样，使用的架构设

概述最近.NET的世界开始闹腾了，微软官方终于加入到了对.NET跨平台的支持，并且在不久的将来，我们在VS里面写的代码可能就可以通过Mono直接在Linux和Mac上运行。那么大家为什么那么的迫切的希望.NET跨平台呢？第一个理由是便宜，淘宝号称4万多台服