大数据核心技术为什么选择分布式

　　因为分布式理论支持下的系统框架，解决了以下三个问题：

　　1、高并发、低延迟的网络服务需求

　　大批量的数据处理，必然带来大规模的访问请求，超出系统承受能力之后，就只能宕机了。而有了分布式，多台服务器共同协作，去处理尽可能多的任务，系统的吞吐量得到极大的提升。以Hadoop为例，TB级及以上的数据存储和计算任务，也能完全扛得住。

　　2、分布式的可扩展性能够大幅度降低企业的网络成本

　　由于分布式系统的多台计算机可以在空间位置上随意分布，机器性能也可以独立运行和随时变动，这就使得多个独立服务可以得到针对性地升级，而不是传统架构下的“大锅饭”。这样能够对系统服务性能进行更好的配置，满足不同阶段的需求。

　　3、分布式系统具有高安全性

　　在分布式系统当中，计算机没有主/从之分，所有计算机节点都是对等的，在对外服务时分布式系统都会对数据和服务进行副本处理，从而直接有效地防止了企业关键数据丢失无法找回的“悲剧”。

　　基于分布式理论，行业当中已经发展出了分布式存储、分布式计算、分布式数据库、分布式消息中间件等，共同来解决大数据处理当中的具体需求问题。

　　以Hadoop来说，Hadoop作为主流选择的分布式基础架构，HDFS负责分布式存储，MapReduce/Spark负责分布式计算，Elasticsearch、Redis等作为分布式数据库系统，Kafka提供分布式消息中间件服务等。