首页>新闻>广州学线上区块链哪家专业

广州学线上区块链哪家专业

来源:广州IT培训时间:2020/2/14 10:28:04

本章学习目标

l 熟悉Hadoop的安装模式

l 掌握用Shell命令和Java 程序操作HDFS

l 理解HDFS架构的原理

l 理解Yarn架构的原理

Hadoop是一个开源框架,也是大数据主要框架之一。Hadoop核心的设计是:HDFS和MapReduce。其中,HDFS为海量数据提供了存储,MapReduce为海量数据提供了计算。Hadoop可以让用户在不了解分布式底层细节的情况下,根据需求进行应用程序开发。


3.1 Hadoop简介

3.1.1 什么是Hadoop

1. Hadoop概念

Hadoop是一个大数据分布式存储和分析框架。Hadoop旨在从单个服务器扩展到数千台计算机,每台计算机都提供本地计算和存储,充分体现了大数据集群进行高速运算和存储的特点。

2. Hadoop的产生和发展

Hadoop早起源于Nutch。Nutch

是一个Java实现的开源搜索引擎。Nutch的设计目标是构建一个大型的全网搜索引擎,这个搜索引擎包括网页抓取、索引、查询等功能,但随着抓取网页数量的增加,遇到了严重的问题——如何存储数十亿个网页和对信息建立索引。

2003年、2004年谷歌发表的两篇论文为以上问题提供了解决方案。论文内容主要涉及以下两个框架。

(1)分布式文件系统(GFS),主要用于海量数据的存储。

(2)分布式计算框架(MapReduce),主要用于海量数据的索引计算问题。

Nutch的开发人员根据谷歌的GFS和MapReduce,完成了开源版本的NDFS和MapReduce。2006年2月,Nutch的NDFS和MapReduce发展成独立的项目Hadoop。

2008年,Hadoop成为Apache的项目。同年,Hadoop成为快的TB级数据排序系统。自此以后,Hadoop逐渐被企业应用于生产,处理大数据的速度越来越快。目前,Hadoop已经被主流企业广泛使用。

3.1.2

3.1.4 Hadoop生态圈的相关组件

除了HDFS、MapReduce 、Yarn核心组件,Hadoop生态圈的其他组件主要有Zookeeper、MySQL、Hive、Hbase、Flume、Sqoop。Hadoop生态圈各组件的含义,

  • 上一篇:广州学线上区块链哪家好
  • 下一篇:广州编程开发培训班哪家好如何选择
  • 相关推荐 更多>

    广州比较好的线上区块链培训周末班

    广州专业线上区块链培训周末班

    广州哪个线上区块链培训机构比较出...

    广州线上区块链培训班

    广州线上区块链培训机构

    广州附近哪有线上区块链培训机构

    立即申请体验课名额

    广州兄弟连教育

    版权所有:搜学搜课(www.soxsok.com)

  • 在线咨询
  • 电话咨询
  • 微信咨询