Katere so prednosti okvira Hadoop 2.0 (YARN)?

Vsebina

• Kaj je okvir YARN?
• Omejitve okvira Hadoop 1.0
• Brez napak, brez stresa - vaš korak za korakom vodnik za ustvarjanje programske opreme, ki spreminja življenje, ne da bi vam uničila življenje
• Okvir preje in njegove prednosti
• Zaključek

Vir: Jim Hughes / Dreamstime.com

Odvzem:

Preja je bistveno izboljšanje v okviru sistema Hadoop 1.0. Tu preučimo nekatere prednosti, ki jih ima pred predhodnikom.

Od uvedbe koncepta velikih podatkov je šlo skozi več faz evolucije. Hadoop je bil predstavljen leta 2005 z nekaterimi začetnimi lastnostmi, kot je na primer procesor MapReduce, ki je omogočal obsežne obdelave podatkov, razporejene v grozdih. Tudi sam Hadoop je doživel veliko sprememb in razvil napredne okvire in metode.

Preja je osnovna sestavina Hadoop 2.0. V bistvu upravlja z viri v gručem okolju. Posrednik YARN sodeluje z računskimi viri (v imenu aplikacij) in dodeljuje vire vsaki aplikaciji na podlagi različnih kriterijev filtriranja.

V tem članku si bomo ogledali glavne prednosti preje nad Hadoop 1.0.

Kaj je okvir YARN?

Yet Anoher Resource Negotiator je osrednja komponenta Hadoop 2.0, ki upravlja z viri v gručem okolju. Okvir Hadoop YARN je napredna različica Hadoop 1.0, ki zagotavlja izboljšane zmogljivosti, kar je koristno za ekosistem Hadoop in celoten nabor tehnologij, povezanih z njim. Zdaj, ko smo nekoliko bolj seznanjeni z YARN, si poglejmo pobliže Hadoop 1.0 in YARN.

Omejitve okvira Hadoop 1.0

Za razumevanje prednosti okvira YARN je zelo pomembno razumeti, kako deluje Hadoop 1.0 in kakšne so omejitve tega okvira.

Tukaj nastopa vloga JobTrackerja. Upravlja tako z viri grozda in določa izvajanje opravila MapReduce. Na kratko, JobTracker načrtuje in rezervira reže opravil ter konfigurira in spremlja vsako tekoče opravilo. Če naloga ne uspe, ponovno dodeli novo režo, da se naloga znova začne. Ko je naloga končana, JobTracker sprosti režo za druga opravila in očisti začasne vire.

Glavne pomanjkljivosti zgornjega pristopa:

• Razpoložljivost - JobTracker je edina točka razpoložljivosti v Hadoopu 1.0. To pomeni, da če JobTracker ne uspe, se bodo vsa opravila privzeto zagnala.
• Omejena razširljivost - Ker JobTracker opravlja več nalog in deluje na enem stroju, se drugi razpoložljivi stroji ne uporabljajo; torej ima omejeno razširljivost.
• Izkoriščenost virov - V zgornjem pristopu so vnaprej določeni reži za zemljevide in zmanjšani reži. Lahko se zgodi, da je ena reža polna, drugi pa so prazni. Ker so prazne reže rezervirane, bodo sedele v prostem teku, namesto da bi ogrožale celotne reže. To lahko povzroči težave pri uporabi virov.
• Zagon programov, ki niso MapReduce - JobTracker je aplikacija, ki je narejena za okvir MapReduce. Težava nastane, ko se aplikacija, ki ni MapReduce, poskuša zagnati v tem okviru. Za uspešno delovanje mora biti aplikacija v skladu z okvirnim programom MapReduce. Nekatere pogoste težave, s katerimi se soočajo, vključujejo težave z:
  • Ad-hoc poizvedba
  • Analiza v realnem času
  • mimohodni pristop
• Neuspeh pri kaskadni strukturi - Eno glavnih težav v tem okviru se pojavi, ko je število vozlišč večje od 4000. V takšnem scenariju pride do kaskadne okvare, kar povzroči poslabšanje celotne grozda.

To je nekaj glavnih omejitev, s katerimi se srečujemo pri delu s tem okvirom. Obstajajo tudi nekatere druge manjše omejitve, ki niso omenjene. Za premagovanje teh omejitev je bil uveden okvir YARN.

Brez napak, brez stresa - vaš korak za korakom vodnik za ustvarjanje programske opreme, ki spreminja življenje, ne da bi vam uničila življenje

Ne morete izboljšati svojih programskih veščin, kadar nikogar ne skrbi za kakovost programske opreme.

Okvir preje in njegove prednosti

Okvir YARN, uveden v Hadoop 2.0, naj bi delil odgovornosti MapReduce in skrbel za nalogo upravljanja grozdov. To omogoča MapReduce, da izvaja samo obdelavo podatkov in s tem racionalizira postopek.

YARN prinaša koncept centralnega upravljanja virov. To omogoča, da se na Hadoopu zažene več aplikacij, ki si delijo skupno upravljanje virov.

Nekatere glavne sestavine okvira YARN so:

• ResourceManager - Komponenta ResourceManager je pogajalec v grozdu za vse vire, prisotne v tem grozdu. Poleg tega je ta komponenta razvrščena v upravitelja aplikacij, ki je odgovoren za upravljanje delovnih mest uporabnikov. Od Hadoopa 2.0 bo katero koli opravilo MapReduce obravnavano kot aplikacija.
• ApplicationMaster - Ta komponenta je kraj, v katerem obstaja delo ali aplikacija. Prav tako upravlja vsa opravila MapReduce in je zaključena po končani obdelavi opravil.
• NodeManager - komponenta upravitelja vozlišč deluje kot strežnik za zgodovino opravil. Odgovoren je za zagotavljanje informacij o opravljenih delovnih mestih. Prav tako spremlja delovna opravila uporabnikov in njihov potek dela za določeno vozlišče.

Upoštevajte, da ima okvir YARN različne komponente za upravljanje različnih nalog, poglejmo, kako se bori proti omejitvam Hadoop 1.0.

• Boljša uporaba virov - Okvir YARN nima nobenih fiksnih rež za naloge. Ponuja centralni upravitelj virov, ki vam omogoča skupno rabo več aplikacij prek skupnega vira.
• Zagon programov, ki niso MapReduce - V YARN so zmožnosti načrtovanja in upravljanja virov ločene od komponente obdelave podatkov. To omogoča Hadoopu zagon različnih vrst aplikacij, ki niso skladne s programiranjem okvira Hadoop. Skupine Hadoop zdaj lahko izvajajo neodvisne interaktivne poizvedbe in izvajajo boljše analize v realnem času.
• Združljivost za nazaj - YARN je okvir, ki je združljiv s nazaj, kar pomeni, da se lahko katero koli obstoječe opravilo MapReduce izvede v Hadoop 2.0.
• JobTracker ne obstaja več - Dve glavni vlogi JobTrackerja sta bili upravljanje virov in razporejanje delovnih mest. Z uvedbo okvira YARN so te zdaj ločene v dve ločeni komponenti, in sicer:
  • NodeManager
  • ResourceManager

Zaključek

Uvedba okvira YARN je olajšala izdelavo aplikacij za razvijalce Hadoop. Zdaj aplikacij ni več treba izvajati z orodji drugih proizvajalcev. YARN je velika sprememba, ki bo uporabnikom omogočila, da razmislijo o Hadoop 2.0 za ustvarjanje aplikacij in učinkovitejše manipuliranje s podatki. Sčasoma se bodo izboljšali uporabnost Hadoopa. Za zdaj bo okvir YARN igral ključno vlogo pri reševanju obstoječih težav in ustvarjanju okolja brez težav, ki je bolj vsestransko kot prejšnja različica modela MapReduce.