概述最近一个月，华为公司面向全球发布了人工智能原生数据库GaussDB和业界性能的分布式存储FusionStorage 8.0，将多年的AI技术和能力以及数据库经验融入到新品，实现很多创新性突破，比如人工智能技术融入分布式数据库的全生命周期、一套存储可同时

FastDFS是由淘宝的余庆先生所开发，是一个轻量级、高性能的开源分布式文件系统，用纯C语言开发，包括文件存储、文件同步、文件访问、存取负载均衡、在线扩容、相同内容只存储一份等功能，适合有大容量存储需求的应用或系统。做分布式系统开发时，其中要解决的一个问题

我们的用这个系统的背景：主要是做异地容灾，可是我们需要的现网的数据需要同步到容灾区。a. canal原理基于mysql binlog技术；需要binlog的支持，而且log的format格式为ROW：。server_id=1 #配置mysql replac

过去十年中，雅虎在 Apache Hadoop 集群构建和扩展方面投入了很大的精力。目前，雅虎有 19 个 Hadoop 集群，其中包含 4 万多台服务器和超过 600PB 的存储。他们在这些集群上开发了大规模机器学习算法，将 Hadoop 集群打造成了雅

HBase是基于Hadoop的分布式的、面向列的、可拓展的开源数据库。当需要对大数据进行随机的、实时的读写时使用HBase。HBase利用Hadoop/HDFS作为其文件存储系统，利用Hadoop/MapReduce来处理HBase中的海量数据，利用Zoo

Hadoop是Apache开源组织的一个分布式计算开源框架，在很多大型网站上都已经得到了应用，如亚马逊、Facebook和Yahoo等等。对于我来说，最近的一个使用点就是服务集成平台的日志分析。服务集成平台的日志量将会很大，而这也正好符合了分布式计算的适用

安装需要两个先决条件，java版本1.6以上和ssh登录本机不需要输入密码，不同版本的hadoop安装方法不同，注意要通过apache网站的匹配安装说明进行安装1，安装javaInstall javarpm -ivh jdk-7u7-linux-x64.r

单一节点的Namenode大大简化了系统的架构。

首先用单节点做一种伪分布式的架构。在文件系统中新建一个目录