大数据的一些Hadoop生态的小科普1——HDFS/GFD

学了几年大数据随便做点点科普吧，本文从最基本的大数据生态的鼻祖谷歌三论文和Hadoop开始讲起。鉴于时间关系今天只讲HDFS/GFS。信息时代随着上网的普及、技术的发展、移动网络设备小型化等，产生的数据也日益增多，大家可能经常听说“大数据”这一概念，实际上对于行业内来讲大数据也仅仅是数据量很大，具有可挖掘价值而已。大数据处理不单单是行为数据，其实更多是其他方面，如企业内部系统监控等。大数据因为数据量很大，一次性可能要处理上百G或者TB级别的数据亦或者流速很快的数据，传统的手段是无法满足这种需求的处理的，因此需要开发其他手段来对大数据进行一种特殊处理。当然谷歌只是公布了三篇关于大数据处理技术的论文，并没有对其开源。Hadoop最早起源于Nutch。