来源:银川达内it培训学校
时间:2020/12/31 13:50:05
银川相当不错的大数据班是哪家?在银川学习就到达内IT培训,17年专业IT培训机构,美国上市集团,开设IT培训班Java、python、大数据、linux、UI、会计等IT培训,泛IT培训和非IT培训共24大课程,0元试听,随到随学,推荐就业
银川比较好的大数据培训学校小编推荐到银川达内,欢迎大家到校或者在线咨询,欢迎在线咨询!
资源管理器层(ResourceManagers)
代Hadoop的生态系统,其资源管理是以整体单一的调度器起家的,其代表作品为YARN。而当前的调度器则是朝着分层调度的方向演进(Mesos则是这个方向的代表作),这种分层的调度方式,可以管理不同类型的计算工作负载,从而可获取更高的资源利用率和调度效率。
YARN:这是新一代的MapReduce计算框架,简称MRv2,它是在代MapReduce的基础上演变而来的(注:MRv2的设计初衷是,为了解决代Hadoop系统扩展性差、不支持多计算框架等问题。
Mesos:这是一个开源的计算框架,可对多集群中的资源做弹性管理。
这些计算框架和调度器之间是松散耦合的,调度器的主要功能就是基于一定的调度策略和调度配置,完成作业调度,以达到工作负载均衡,使有限的资源有较高的利用率。
调度器(Schedulers)
(1)作业调度器,通常以插件的方式加载于计算框架之上,常见的作业调度器有4种:
计算能力调度器
公平调度器
延迟调度
公平与能力调度器
(2)协调器(Coordination)
在分布式数据系统中,协调器主要用于协调服务和进行状态管理。
Paxos:Google的Chubby和Apache的Zookeeper,都是用Paxos作为其理论基础实现的。
Chubby:本质上就是前文提到的Paxos的一个实现版本,主要用于谷歌分布式锁服务。
Zookeeper:这是ApacheHadoop框架下的Chubby开源版本。它不仅仅提供简单地上锁服务,而事实上,它还是一个通用的分布式协调器,其设计灵感来自谷歌的Chubby。
温馨提示:为了不影响您的时间,来校区前或者遇到不明白的问题请先电话咨询,方便我校安排相关课程的专业老师为您解答,选取适合您的课程。我们有多处校区,价格方面可随时电话咨询。以上是银川达内小编为您整理。欢迎大家到校或者在线咨询!
版权所有:搜学搜课(www.soxsok.com)