来源:西安博为峰Java培训学校
时间:2019/3/2 11:29:14
企业该如何进行技术选择?
针对这一问题,兄弟连认为,企业应根据所处的不同阶段进行选择:
起始阶段:处于这一阶段的大多数企业已采购MPP硬件搭建数据仓库。为了增加业务延续性,对于起始阶段的企业建议以传统技术为主,以大数据技术为辅。例如:ETL处理仍然放在MPP平台,只是利用HDFS做历史数据归档,利用SparkStreaming做小批量数据的实时处理。
发展阶段:这一阶段的企业用户已经掌握了大数据的核心技能,发展阶段建议以大数据技术为主,以传统技术为辅。例如:将ETL处理全部转移到Hadoop平台,而只将处理逻辑简单的固定报表部分放在MPP上。
成熟阶段:建议使用Hadoop平台作为整体架构,将大数据技术应用到。
将数据仓库规划在Hadoop之上?
“企业可以选择从一开始就将整个数据仓库规划在Hadoop之上。传统数据仓库架构的主要创始人RalphKimball博士在2015年发表专题演讲时证实了Hadoop是可以完全取代MPP来建立数据仓库的。”徐峰提到,“在范围内,也确实有很多企业已经将他们的数据仓库完全建立在Hadoop之上。”
但是从技术的角度,有一些数据仓库技术或工具与Hadoop相比已非常成熟,可能已有数十年的历史,对于这些长期应用的数据库技术,Hadoop并不具备其中所有的功能或性能。但即便如此,很多用户仍然选择把他们的数据仓库构建在Hadoop架构之上,这是为了能够实现更加优越的可扩展性、更高的性价比,以及更好的灵活性。在实际应用中,即使是规模只有5个节点的小集群,企业使用Hadoop与其他技术选项相比,也能够取得更好的产出、带来更多的业务价值与竞争力。
版权所有:搜学搜课(www.soxsok.com)