Vsebina
- Kaj je Kudu?
- Kakšen je trenutni status Kudusa?
- Kako lahko Kudu dopolni HDFS / HBase?
- Značilnosti okvira Kudu
- Kako lahko Kudu spremeni Hadoop ekosistem?
- Brez napak, brez stresa - vaš korak za korakom vodnik za ustvarjanje programske opreme, ki spreminja življenje, ne da bi vam uničila življenje
- Zaključek
Vir: Agsandrew / Dreamstime.com
Odvzem:
Kudu je odprtokodni projekt, ki pomaga učinkoviteje upravljati s shranjevanjem.
Kudu je nov odprtokodni projekt, ki omogoča posodobitev prostora za shranjevanje. Je dopolnilo HDFS / HBase, ki zagotavlja zaporedno shranjevanje in samo za branje. Kudu je bolj primeren za hitro analitiko na hitrih podatkih, kar je trenutno povpraševanje podjetij. Torej Kudu ni le še en projekt ekosistema Hadoop, temveč ima potencial, da spremeni trg. (Za več informacij o Hadoopu glejte 10 najpomembnejših Hadoop pogojev, ki jih morate poznati in razumeti.)
Kaj je Kudu?
Kudu je posebna vrsta sistema za shranjevanje, ki shranjuje strukturirane podatke v obliki tabel. Vsaka tabela ima vnaprej določeno število stolpcev. Vsak od njih ima primarni ključ, ki je pravzaprav skupina enega ali več stolpcev te tabele. Ta primarni ključ je narejen tako, da dodate omejitev in zaščitite stolpce, deluje pa tudi kot indeks, kar omogoča enostavno posodabljanje in brisanje. Te tabele so vrsta podatkovnih podskupov, imenovanih tablični računalniki.
Kakšen je trenutni status Kudusa?
Kudu je res dobro razvit in je že povezan z veliko funkcijami. Kljub temu bo še vedno potrebno nekaj poliranja, kar lahko storite lažje, če uporabniki predlagajo in izvedejo kakšne spremembe.
Kudu je popolnoma odprtokoden in ima licenco Apache Software 2.0. Prav tako je namenjen predložitvi Apache, tako da se lahko razvije kot projekt inkubatorja Apache. To bo omogočilo, da bo njegov razvoj napredoval še hitreje in še povečal svojo občinstvo. Po določenem času bo razvoj podjetja Kudu potekal javno in pregledno. Številna podjetja, kot so AtScale, Xiaomi, Intel in Splice Machine, so združila, da bi prispevala k razvoju Kuduja. Kudu ima tudi veliko skupnost, kjer veliko število občinstva že daje svoje predloge in prispevke. Torej, ljudje vodijo razvoj Kuduja naprej.
Kako lahko Kudu dopolni HDFS / HBase?
Kudu ni mišljen kot zamenjava za HDFS / HBase. Pravzaprav je zasnovan tako, da podpira tako HBase kot tudi HFDS in deluje skupaj z njimi, da poveča svoje funkcije. To je zato, ker imata HBase in HDFS še vedno veliko funkcij, zaradi katerih sta na nekaterih strojih močnejša kot Kudu. Na splošno bodo takšni stroji od teh sistemov dobili več koristi.
Značilnosti okvira Kudu
Glavne značilnosti okvira Kudu so naslednje:
- Izjemno hitri pregledi stolpcev tabele - Najboljši formati podatkov, kot sta Parquet in ORCFile, potrebujejo najboljše postopke skeniranja, ki jih Kudu odlično obravnava. Takšni formati potrebujejo hitro pregledovanje, ki se lahko zgodi le, če so stolpčni podatki pravilno kodirani.
- Zanesljivost delovanja - Okvir Kudu povečuje splošno zanesljivost Hadoopa, tako da zapira številne vrzeli in vrzeli, ki so prisotni v Hadoopu.
- Enostavna integracija s Hadoop-om - Kudu je za večjo učinkovitost enostavno združiti s Hadoop-om in njegovimi različnimi komponentami.
- Popolnoma odprtokodni sistem - Kudu je odprtokodni sistem z licenco Apache 2.0. Ima veliko skupnost razvijalcev iz različnih podjetij in okolij, ki ga redno posodabljajo in dajejo predloge za spremembe.
Kako lahko Kudu spremeni Hadoop ekosistem?
Kudu so zgradili tako, da se je prilegel Hadoopovemu ekosistemu in izboljšal njegove značilnosti. Vgradi se lahko tudi z nekaterimi ključnimi komponentami Hadoopa, kot so MapReduce, HBase in HDFS. Opravila MapReduce lahko zagotavljajo podatke ali vzamejo podatke iz tabel Kudu. Te funkcije je mogoče uporabiti tudi v Spark. Posebna plast omogoča dostop do nekaterih komponent Spark, kot sta Spark SQL in DataFrame, Kudu. Čeprav Kudu še ni bil razvit toliko, da bi nadomestil te funkcije, se ocenjuje, da bo čez nekaj let dovolj razvit za to. Do takrat je povezovanje med Hadoopom in Kudujem resnično zelo koristno in lahko zapolni velike vrzeli Hadoopovega ekosistema. (Če želite izvedeti več o Apache Spark, glejte, kako Apache Spark pomaga hitremu razvoju aplikacij.)
Kudu je mogoče izvajati na različnih mestih. Spodaj je navedenih nekaj primerov takih krajev:
Brez napak, brez stresa - vaš korak za korakom vodnik za ustvarjanje programske opreme, ki spreminja življenje, ne da bi vam uničila življenje
Ne morete izboljšati svojih programskih sposobnosti, če nikogar ne skrbi za kakovost programske opreme.
- Pretakanje vhodov v skoraj realnem času - Na mestih, kjer je potrebno prejeti vložke ASAP, lahko Kudu opravi izjemno delo. Primer takšnega mesta je v podjetjih, kjer velike količine dinamičnih podatkov preplavijo iz različnih virov, zato jih je treba takoj zagotoviti v realnem času.
- Aplikacije časovnih vrst z različnimi vzorci dostopa - Kudu je kot nalašč za aplikacije, ki temeljijo na časovnih vrstah, saj je preprosteje nastaviti tabele in jih skenirati z uporabo. Primer takšne uporabe je v veleblagovnicah, kjer je treba hitro najti stare podatke in jih obdelati, da se napoveduje priljubljenost izdelkov v prihodnosti.
- Zapuščeni sistemi - Številna podjetja, ki pridobivajo podatke iz različnih virov in jih hranijo na različnih delovnih postajah, se bodo počutila kot doma pri Kuduju. Kudu je izjemno hiter in se lahko učinkovito integrira z Impalo za obdelavo podatkov na vseh strojih.
- Prediktivno modeliranje - Znanstveniki, ki želijo dobro platformo za modeliranje, lahko uporabljajo Kudu. Kudu se lahko uči iz vsakega niza podatkov, ki se vanj hranijo. Znanstvenik lahko večkrat zažene in znova zažene model, da bi videl, kaj se zgodi.
Zaključek
Čeprav je Kudu še vedno v fazi razvoja, ima dovolj možnosti, da je dober dodatek za standardne komponente Hadoop, kot sta HDFS in HBase. Ima dovolj potenciala, da popolnoma spremeni ekosisteme Hadoop, tako da zapolni vse vrzeli in doda še nekaj funkcij. Je tudi zelo hiter in močan ter lahko pomaga pri hitri analizi in shranjevanju velikih tabel podatkov. Vendar pa je treba storiti še nekaj dela za njegovo učinkovitejšo uporabo.