Vir: Agsandrew / Dreamstime.com
Odvzem:
Izvorno-agnostične metode so idealne za obdelavo podatkov za Hadoop analitiko.
Združevanje podatkovnih virov v Hadoopu je kompleksen posel. Nekateri razlogi za to so:
- Problemi po meri so specifični za posamezne vire, ki združujejo vire podatkov.
- Uporaba integracije podatkov ali podatkovnih orodij vnaša preveč negotovosti.
- Dodajanje podatkov iz zunanjih virov je skoraj nemogoče.
Danes bom govoril o tem, kako se Hadoop analitika izboljšuje z izvorno-agnosticnimi tehnologijami, ki olajšajo kombiniranje notranjih in zunanjih virov podatkov. Poleg tega, da bom opisal, kako delujejo izvorno-agnostične metode, bom opisal tudi, zakaj Hadoop analitika potrebuje vgrajene zmogljivosti inteligence in prenosa znanja, razumevanje odnosov in značilnosti podatkov ter razširljivo in visokozmogljivo arhitekturo.
- Izvorno-agnostične metode vključujejo prilagodljiv model ločljivosti entitete, ki omogoča dodajanje novih virov podatkov z uporabo statistično zanesljivih, ponovljivih procesov znanosti o podatkih. Ti procesi uporabljajo algoritme za zbiranje znanja iz podatkov in njihovo oceno, analizo, da se določi najboljši integracijski pristop.
Ne glede na to, kako razdrobljeni ali nepopolni so izvorni zapisi, bi morale biti Hadoop analitične tehnologije izvorne agnostike in bi morale imeti možnost poenotenja podatkov, ne da bi spreminjale ali manipulirale z izvornimi podatki. Te tehnologije bi morale ustvariti tudi indekse entitet, ki temeljijo na podatkovni vsebini in atributih o posameznikih in kako obstajajo v svetu. Da bi to dosegli, morajo razumeti vsebino podatkov, vsebino, strukturo in povezavo komponent med seboj. - Vgrajena znanost o podatkih in znanje o integraciji podatkov omogoča čiščenje, standardizacijo in korelacijo podatkov z visoko stopnjo natančnosti in natančnosti. Orodja in poročila za vizualizacijo pomagajo analitikom, da ocenijo in se učijo iz podatkov ter izvedejo nastavitev sistema na podlagi znanja, pridobljenega iz različnih korakov v procesu.
- Razumevanje odnosov med entitetami privede do natančnejših postopkov reševanja entitet. Ker subjekti v resničnem svetu niso le seštevek njihovih atributov, ampak tudi njihove povezave, je treba za ugotavljanje, kdaj so zapisi enaki, uporabiti znanje o odnosih. To je še posebej pomembno pri ravnanju z vogalnimi primeri in velikimi podatki.
- Karakterizacija podatkov izboljšuje analizo, reševanje in povezovanje podatkov z identifikacijo in zagotavljanjem informacij v podatkovnih virih. Pomaga lahko pri preverjanju vsebine, gostote in distribucije podatkov v stolpcih strukturiranih informacij. Karakterizacijo podatkov lahko uporabimo tudi za identifikacijo in pridobivanje pomembnih podatkov, povezanih z entiteto (ime, naslov, datum rojstva itd.) Iz nestrukturiranih in polstrukturiranih virov za korelacijo s strukturiranimi viri.
- Prilagodljiva, vzporedna arhitektura hitro opravi analitiko tudi pri podpori na stotine strukturiranih, polstrukturiranih in nestrukturiranih virov podatkov in na desetine milijard zapisov.
Hadoop spreminja način, kako svet izvaja analitiko. Ko so v ekosisteme Hadoop dodane nove analitične vire na področju virov, lahko organizacije povežejo pike v številnih notranjih in zunanjih virih podatkov in pridobijo vpogled, ki prej niso bili možni.
Ta članek je bil prvotno objavljen na Novetta.com. Tu je bilo dovoljeno trstiko z dovoljenjem. Novetta obdrži vse avtorske pravice.