目录
百战程序员,全站22050+开发课程+文档 ,学习精选优质好课快人一步!观看视频 快捷键ALT+N

Python全系列 教程

3567个小节阅读:5930.2k

收藏
全部开发者教程

鸿蒙应用开发

C语言快速入门

JAVA全系列 教程

面向对象的程序设计语言

Python全系列 教程

Python3.x版本,未来主流的版本

人工智能 教程

顺势而为,AI创新未来

大厂算法 教程

算法,程序员自我提升必经之路

C++ 教程

一门通用计算机编程语言

微服务 教程

目前业界流行的框架组合

web前端全系列 教程

通向WEB技术世界的钥匙

大数据全系列 教程

站在云端操控万千数据

AIGC全能工具班

A

A A

White Night

阅读(493)
赞(0)

二、Yarn资源调度器

2.1 Yarn架构剖析

YARN(Yet Another Resource Negotiator): Hadoop 2.0新引入的资源管理系统,直接从MRv1演化而来的;核心思想:将MRv1中JobTracker的资源管理和任务调度两个功能分开,分别由ResourceManager和ApplicationMaster进程实现。YARN的引入,使得多个计算可运行在一个集群中, 每个job对应一个ApplicationMaster。 目前多个计算框架可以运行在YARN上,比如MapReduce、Spark等解耦资源与计算。

Yarn是一个资源调度平台,负责为运行的程序(提交job作业)提供服务器的资源(CPU、Mem..,网络等)。

img

  1. ResourceManager(简称RM)主要作用:

    1. 处理客户端的请求
    2. 监控NodeManager
    3. 启动和监控ApplicationMaster
    4. 负责整个集群的资源管理和调度
  2. NodeManager:

    1. 与RM汇报资源
    2. 管理当前服务器上的Container容器
    3. 处理来自RM的指令
    4. 处理来之ApplicationMaster指令
  3. ApplicationMaster:负责应用程序相关的事务,比如任务调度、任务监控和容错等

    1. 以作业为单位,负载到不同的节点,避免单点故障。
    2. 向RM申请创建Task任务(MapTask、ReduceTask)所需要资源(Container)
    3. 负责任务切分、任务调度、任务监控和容错等
  4. Container:【节点NM,CPU,MEM,I/O大小,启动命令】

    1. 默认NodeManager启动线程监控Container大小
    2. 超出申请资源额度,被kill掉
  5. Client:

    1. • RM-Client:请求资源创建AM
    2. • AM-Client:与AM交互

MRAppMaster容错

  • 失败后,由YARN重新启动
  • 任务失败后,MRAppMaster重新申请资源

北京市昌平区回龙观镇南店村综合商业楼2楼226室

©2014-2023 百战卓越(北京)科技有限公司 All Rights Reserved.

京ICP备14032124号-2