新闻资讯  快讯  焦点  财经  政策  社会
互 联 网   电商  金融  数据  计算  技巧
生活百科  科技  职场  健康  法律  汽车
手机百科  知识  软件  修理  测评  微信
软件技术  应用  系统  图像  视频  经验
硬件技术  知识  技术  测评  选购  维修
网络技术  硬件  软件  设置  安全  技术
程序开发  语言  移动  数据  开源  百科
安全防护  资讯  黑客  木马  病毒  移动
站长技术  搜索  SEO  推广  媒体  移动
财经百科  股票  知识  理财  财务  金融
教育考试  育儿  小学  高考  考研  留学
您当前的位置:首页 > 互联网百科 > 大数据

大数据:Yarn应用程序提交流程

时间:2019-12-02 15:39:57  来源:  作者:

Hadoop向用户提供了三种能力:分布式文件系统HDFS、分布式计算模式MapReduce和资源调度框架YARN。由于Hadoop的影响力较大,在大数据圈里一直把“应用 on YARN”作为一个门槛条件,由YARN统一对资源管理和调度,实现应用和租户的资源隔离。很多人把YARN当成是Hadoop圈里面的K8S。接下向大家介绍应用程序如何部署到YARN上面去。

大数据:Yarn应用程序提交流程

整体交互图

应用为了能够跑在YARN上,需要编写客户端程序和ApplicationMaster程序。

客户端应用程序,即上图中的Client:

1.向Resource Manager发消息,获取应用ID;

2.构造Application Master运行时所需要的上下文,包括应用ID、启动的命令、依赖的JAR文件、需要的资源等;

3.向Resource Master提交Application Master。Resouce Master会选择一个Node Manager启动Application Master;

4.向Resource Master发消息,查询Application Master的运行状态或者杀掉应用程序;

Client可以通过与Resource Manager交互获取Application Master的状态,但是为了减轻Resource Manager的负担,一般Client直接与Application Master通信,查询其状态。

ApplicationMaster程序:

1.向Resouce Manager注册自己;

2.向Resource Manager申请资源,需要注意的时,申请资源的接口也是心跳的接口,所以Application Master在运行期间需要周期性地调用申请资源的接口;

3.Application Master收到分配的资源信息后,向Node Manager发送启动容器的请求,Node Manager启动容器;

4.Application Master周期性地向Node Manager发送消息,查询容器运行状态,当发现容易运行失败时,可以尝试重启容器;

5.当任务运行完成后,Application Master向Node Manager发送停止容器的请求,释放资源;

6.Application Master向Resource Manager发送应用完成的消息;

YARN应用整体的运行过程大体如上。可以看出,一个应用要跑在YARN上,需要做很多事情。目前开源社区为了方便应用上YARN,推出了YARN Service服务。这个服务帮用户做了很多事情,包括上面提到的客户端程序和Application Master,还有应用状态的监控,故障后重新拉起等。YARN Service对外提供命令行工具和REST API。用户编写自己的应用程序描述文件,通过YARN Service提供的接口提交这份文件。YARN Service会按照描述文件分配指定的资源、启动指定数据的应用实例。应用程序上YARN将会越来越容易。



Tags:Yarn   点击:()  评论:()
声明:本站部分内容来自互联网,内容观点仅代表作者本人,如有任何版权侵犯请与我们联系,我们将立即删除。
▌相关评论
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表
▌相关推荐
Hadoop向用户提供了三种能力:分布式文件系统HDFS、分布式计算模式MapReduce和资源调度框架YARN。由于Hadoop的影响力较大,在大数据圈里一直把“应用 on YARN”作为一个门槛条...【详细内容】
2019-12-02   Yarn  点击:(0)  评论:(0)  加入收藏
相关文章
    无相关信息
最新更新
栏目热门
栏目头条