Hadoop YARN：调度性能优化实践

优化效果：排序相关的细粒度指标耗时明显下降。

红框中的指标表示每分钟调度器用来做队列/作业排序的时间。从图中可以看出，经过优化，排序时间从每分钟30G(30秒)下降到5G(5秒)以内。

优化作业跳过时间

从上图看，优化排序比较函数后，蓝色的线有明显的增加，从2秒增加到了20秒。这条蓝线指标含义是每分钟调度器跳过没有资源需求的作业花费的时间。从时间占比角度来看，目前优化目标是减少这条蓝线的时间。

分析代码发现，所有队列/作业都会参与调度。但其实很多队列/作业根本没有资源需求，并不需要参与调度。因此优化策略是：在排序之前，从队列的Children中剔除掉没有资源需求的队列/作业。

（编辑：通化站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!