連日來 YARN是對Hadoop 1.0框架的重大改進(jìn)向來一不斷的有小伙伴關(guān)注，不僅如此還衍生出了各大相關(guān)話題，那么跟著小編來看看 YARN是對Hadoop 1.0框架的重大改進(jìn)以及它的相關(guān)資訊吧！

自引入大數(shù)據(jù)概念以來，它向來在經(jīng)歷多個進(jìn)展階段。Hadoop于2005年推出，具有一些初始功能，例如MapReduce處理引擎，同意 大規(guī)模數(shù)據(jù)處理工作負(fù)載分布在集群中。Hadoop本身經(jīng)歷了很多變化，并開辟了先進(jìn)的框架和方法。

YARN是Hadoop 2.0的核心組件。它基本上治理集群環(huán)境中的資源。YARN代理與計算資源(代表應(yīng)用程序)交互，并根據(jù)不同的過濾條件為每個應(yīng)用程序分配資源。

在本文中，我們將了解YARN優(yōu)于Hadoop 1.0的主要優(yōu)勢。

什么是YARN框架?

Y et A nother R esource N egotiator是Hadoop 2.0的核心組件，它治理集群環(huán)境中的資源。Hadoop YARN框架是Hadoop 1.0的高級版本，可提供更高的性能，這有利于Hadoop生態(tài)系統(tǒng)及與之相關(guān)的所有技術(shù)。現(xiàn)在我們對YARN略微熟悉一下，讓我們仔細(xì)看看Hadoop 1.0和YARN。

Hadoop 1.0框架的局限性

為了理解YARN框架的優(yōu)點，了解Hadoop 1.0的工作原理以及該框架的局限性非常重要。

這就是JobTracker的作用所在。它治理集群資源并確定MapReduce作業(yè)執(zhí)行。簡而言之，JobTracker計劃并保留任務(wù)槽，并配置和監(jiān)控每個正在運(yùn)行的任務(wù)。如果任務(wù)失敗，則會重新分配新的插槽以使任務(wù)重新開始。任務(wù)完成后，JobTracker會釋放其他任務(wù)的插槽并清除暫時資源。

上述方法的主要缺點：

可用性 - JobTracker是Hadoop 1.0中唯一可用的可用點。這意味著如果JobTracker失敗，默認(rèn)情況下將重啟所有任務(wù)。

有限的可擴(kuò)展性 - 由于JobTracker執(zhí)行多個任務(wù)并在一臺機(jī)器上運(yùn)行，因此其他可用的機(jī)器未被使用; 因此，導(dǎo)致可擴(kuò)展性有限。

資源利用率 - 在上述方法中，預(yù)定義了映射槽和減少槽?？赡軙l(fā)生其中一個插槽已滿，但其他機(jī)器插槽為空。由于空插槽是保留的，因此它們將處于空暇狀態(tài)而不是為完整插槽而妥協(xié)。這可能會導(dǎo)致資源利用問題。

運(yùn)行非MapReduce應(yīng)用程序 - JobTracker是為MapReduce框架構(gòu)建的應(yīng)用程序。當(dāng)非MapReduce應(yīng)用程序嘗試在此框架中運(yùn)行時，會浮現(xiàn)問題。應(yīng)用程序需要符合MapReduce框架編程才干成功運(yùn)行。由此產(chǎn)生的一些常見問題包括以下問題：

暫時查詢

實時分析

消息傳遞方法

級聯(lián)失敗 - 當(dāng)節(jié)點數(shù)大于4000時，會浮現(xiàn)此框架中的一個主要問題。在這種情況下，會發(fā)生級聯(lián)故障，導(dǎo)致整個集群惡化。

這些是使用此框架時面臨的一些主要限制。還有一些其他的小限制，沒有提到。引入YARN框架是為了克服這些限制。

YARN框架及其優(yōu)勢

Hadoop 2.0中引入的YARN框架旨在分擔(dān)MapReduce的職責(zé)并負(fù)責(zé)集群治理任務(wù)。這同意 MapReduce僅執(zhí)行數(shù)據(jù)處理，從而簡化流程。

YARN引入了中央資源治理的概念。這同意 多個應(yīng)用程序在Hadoop上運(yùn)行，共享公共資源治理。

YARN框架的一些主要組成部分是：

ResourceManager - ResourceManager組件是群集中用于該群集中存在的所有資源的協(xié)商者。此外，該組件被分類為負(fù)責(zé)治理用戶作業(yè)的應(yīng)用程序治理器。從Hadoop 2.0開始，任何MapReduce作業(yè)都將被視為一個應(yīng)用程序。

ApplicationMaster - 此組件是作業(yè)或應(yīng)用程序所在的位置。它還治理所有MapReduce作業(yè)，并在作業(yè)處理完成后結(jié)束。

NodeManager - 節(jié)點治理器組件充當(dāng)作業(yè)歷史記錄的服務(wù)器。它負(fù)責(zé)保護(hù)已完成工作的信息。它還跟蹤用戶的工作以及特定節(jié)點的工作流程。

請記住，YARN框架有不同的組件來治理不同的任務(wù)，讓我們看看它如何抵消Hadoop 1.0的局限性。

更好地利用資源 - YARN框架沒有任何固定的任務(wù)槽。它提供了一個中央資源治理器，同意 您通過公共資源共享多個應(yīng)用程序。

運(yùn)行非MapReduce應(yīng)用程序 - 在YARN中，調(diào)度和資源治理功能與數(shù)據(jù)處理組件分離。這同意 Hadoop運(yùn)行不同類型的應(yīng)用程序，這些應(yīng)用程序不符合Hadoop框架的編程。Hadoop集群現(xiàn)在能夠運(yùn)行獨立的交互式查詢并執(zhí)行更好的實時分析。

向后兼容性 - YARN是一個向后兼容的框架，這意味著MapReduce的任何現(xiàn)有作業(yè)都可以在Hadoop 2.0中執(zhí)行。

JobTracker不再存在 - JobTracker的兩個主要角色是資源治理和作業(yè)調(diào)度。隨著YARN框架的引入，這些框架現(xiàn)在被分為兩個獨立的組件，即：

節(jié)點治理器

的ResourceManager

YARN框架的引入使得為Hadoop開辟人員構(gòu)建應(yīng)用程序變得更加容易?，F(xiàn)在，不再需要使用第三方工具實現(xiàn)應(yīng)用程序。YARN是一個巨大的變化，它同意 用戶考慮使用Hadoop 2.0來創(chuàng)建應(yīng)用程序并更有效地操作數(shù)據(jù)。隨著時間的推移，將會有進(jìn)一步的進(jìn)展來增強(qiáng)Hadoop的可用性。目前，YARN框架將在處理現(xiàn)有問題和創(chuàng)建無障礙環(huán)境方面發(fā)揮關(guān)鍵作用，該環(huán)境比早期版本的MapReduce模型更加通用。