Vsebina
- Opredelitev - Kaj pomeni MapReduce?
- Uvod v Microsoft Azure in Microsoft Cloud | V tem priročniku boste spoznali, kaj sploh pomeni računalništvo v oblaku in kako vam lahko Microsoft Azure pomaga preseliti in voditi vaše podjetje iz oblaka.
- Techopedia razlaga MapReduce
Opredelitev - Kaj pomeni MapReduce?
MapReduce je programski model, ki ga je predstavil Google za obdelavo in generiranje velikih nizov podatkov v grozdih računalnikov.
Google je najprej oblikoval okvir za prikazovanje Googlove indeksiranja spletnih strani, novi okvir pa je nadomestil prejšnje algoritme indeksiranja. Začetni razvijalci menijo, da je okvir MapReduce koristen, saj se lahko rutine knjižnice uporabljajo za ustvarjanje vzporednih programov brez skrbi glede komunikacije v infra-gruči, spremljanja opravil ali postopkov ravnanja z napakami.
MapReduce deluje na velikem naboru blagovnih strojev in je zelo razširljiv. Ima več oblik izvajanja, ki jih ponuja več programskih jezikov, kot so Java, C # in C ++.
Uvod v Microsoft Azure in Microsoft Cloud | V tem priročniku boste spoznali, kaj sploh pomeni računalništvo v oblaku in kako vam lahko Microsoft Azure pomaga preseliti in voditi vaše podjetje iz oblaka.
Techopedia razlaga MapReduce
Okvir MapReduce ima dva dela:
- Funkcija, imenovana "Zemljevid", ki omogoča različnim točkam porazdeljene kopice, da razdelijo svoje delo
- Funkcija imenovana "Zmanjšaj", ki je zasnovana tako, da zmanjša končno obliko rezultatov gruč v en izhod
Glavna prednost okvira MapReduce je njegova odstopanje napak, kjer se ob zaključku dela pričakujejo redna poročila iz vsakega vozlišča v grozdu.
Naloga se prenese iz enega vozlišča v drugo. Če glavno vozlišče opazi, da je vozlišče tiho daljši interval, kot je bilo pričakovano, glavno vozlišče izvede postopek prerazporeditve naloge zamrznjenega / z zamudo.
Okvir MapReduce se zgleduje po funkcijah "Map" in "Reduce", ki se uporabljata pri funkcionalnem programiranju. Računalniška obdelava poteka na podatkih, shranjenih v datotečnem sistemu ali v bazi podatkov, ki sprejme niz vhodnih ključnih vrednosti in ustvari nabor izhodnih ključnih vrednosti.
Vsak dan se na Googlesovih grozdih izvajajo številni programi MapReduce in MapReduce. Programi se samodejno vzporedno vzpostavijo in izvajajo na velikem naboru blagovnih strojev. Izvajalni sistem obravnava razdelitev vhodnih podatkov, razporejanje izvajanja programov na nabor strojev, ravnanje z napakami na stroju in upravljanje potrebne medmrežne komunikacije. Programerji brez izkušenj z vzporednimi in porazdeljenimi sistemi zlahka uporabljajo vire velikega porazdeljenega sistema.
MapReduce se uporablja pri porazdeljeni grep, porazdeljeni vrsti, preusmerjanju spletnih povezav-grafov, statistiki dnevnika spletnega dostopa, združevanju dokumentov, strojnem učenju in statističnem strojnem prevodu.