Vsebina
- Tri VS velikih podatkov
- Reševanje težave z raznolikostjo podatkov
- Brez napak, brez stresa - vaš korak za korakom vodnik za ustvarjanje programske opreme, ki spreminja življenje, ne da bi vam uničila življenje
Odvzem:
Preveč IT oddelkov vrže vse, kar imajo pri vprašanjih obsega in hitrosti podatkov, in pozabi rešiti temeljno vprašanje raznolikosti podatkov.
Kot izjavlja Doug Laney, podpredsednik raziskave pri Gartnerju, izziv pri upravljanju in izkoriščanju velikih podatkov izhaja iz treh elementov. Laney je pred več kot desetletjem prvič opozoril, da veliki podatki predstavljajo takšno težavo za podjetje, saj vnaša težko obvladljiv obseg, hitrost in raznolikost. Težava je v tem, da preveč IT oddelkov vrže vse, kar imajo pri vprašanju obsega in hitrosti podatkov, pri čemer pozabi rešiti temeljno vprašanje raznolikosti podatkov.
Laney je že leta 2001 zapisal, da bodo "vodilna podjetja vse pogosteje uporabljala centralizirano skladišče podatkov za opredelitev skupnega poslovnega besedišča, ki izboljšuje notranje in zunanje sodelovanje." Vprašanje tega besedišča - in spremenljivost, ki preprečuje, da bi ga podjetja ustvarila - ostaja najmanj obravnavan vidik velikega podatkovnega zagona. (Poglejte, kaj imajo še drugi strokovnjaki. Oglejte si strokovnjake za velike podatke, ki jim morate slediti.)
Tri VS velikih podatkov
Številna podjetja so našla metode za povečanje obsega in hitrosti podatkov. lahko na primer analizira ogromno količino podatkov. Seveda so ti podatki vedno znova in znova predstavljeni v istih parametrih. To je spodbudilo tehnološke inovacije, kot so zbirke podatkov o stolpcih, ki jih zdaj široko uporabljajo druga podjetja, ki se srečujejo z enako velikimi skladišči podobnih podatkovnih postavk.
Glede hitrosti ukrotitve prodajalci, kot je Splunk, pomagajo podjetjem analizirati hitro ustvarjene podatke s pomočjo dnevniških datotek, ki zajamejo več tisoč dogodkov na sekundo. Ta analiza dogodkov velikega obsega je namenjena primerom uporabe varnosti in spremljanja učinkovitosti. Tako kot pri izzivu s količino podatkov je bil tudi izziv za hitrost v veliki meri obravnavan s prefinjenimi tehnikami indeksiranja in porazdeljeno analitiko podatkov, ki omogočajo povečanje zmogljivosti obdelave s povečano hitrostjo podatkov.
Kar zadeva raznolikost, pa se preveč podjetij še vedno spopada z veliko težavo pri svojem pristopu do analitike velikih podatkov. To težavo vodijo trije dejavniki: Prvič, zaradi rasti, pridobitev in tehnoloških inovacij, ki v okolje vnašajo nove sisteme, so podjetja zaprta v zelo heterogeno okolje in ta heterogenost se s časom le poveča. Podjetja morajo spremljati množico vrst sistemov in upravljati več deset tisoč vrst podatkov ter iste podatke, ki so predstavljeni z različnimi nomenklaturami in formati.
Drugič, ti sistemi in vrste podatkov v mnogih primerih poročajo o ustreznih informacijah in informacijah, ki jih je mogoče varno izločiti kot nepomembne za težavo, ki jo je treba rešiti. Potrebno je zanesljivo prepoznati pomembne informacije.
Tretja razsežnost izziva sorte je stalna spremenljivost ali spreminjanje okolja. Sistemi se nadgrajujejo, uvajajo se novi sistemi, dodajajo se novi tipi podatkov in uvaja nova nomenklatura. To še dodatno obremenjuje našo sposobnost, da ukrotimo izziv za raznolikost podatkov. To doda dodaten sloj k izzivu sorte. (Za več vpogleda si oglejte velike podatke: Kako so bili ujeti, zdrobljeni in uporabljeni za sprejemanje poslovnih odločitev.)
Reševanje težave z raznolikostjo podatkov
Za reševanje problema raznolikosti podatkov morajo podjetja začeti z domeno IT, saj pogosto predstavlja tako najhujše kršitelje kot najhujše žrtve težave s sorto. Prvi korak je začeti s celovito opredelitvijo ali taksonomijo vseh elementov ali sredstev IT. To zagotavlja izhodišče ali podlago za sklicevanje na karkoli v IT-ju ali o njem in podjetjem omogoča, da upravljajo naraščajočo heterogenost glede na znano taksonomijo ali terminologijo.
Brez napak, brez stresa - vaš korak za korakom vodnik za ustvarjanje programske opreme, ki spreminja življenje, ne da bi vam uničila življenje
Ne morete izboljšati svojih programskih veščin, kadar nikogar ne skrbi za kakovost programske opreme.
Naslednji korak je prepoznavanje številnih načinov, kako je isti predmet predstavljen v različnih sistemih zapisov. To omogoča IT strokovnjakom, da si ogledajo svoje heterogeno okolje in visoko filtrirajo in stisnejo podatke v ustrezne in obvladljive koščke.
Končno morajo vodje IT sprejeti postopek nenehnega preverjanja okolja za spremembe, kot so na primer nove vrste elementov ali nova nomenklatura, ki se nanašajo na isti element.
S temi koraki lahko IT organizacije rešijo problem raznolikosti in pridobijo globoke vpoglede, ki so se v preteklosti izognili IT ekipam. Poleg tega obvladovanje težav s sorto močno izboljša njihovo donosnost naložb v orodja in tehnike, ki se spopadajo s tradicionalnimi velikimi in velikimi hitrostmi.