Vsebina
- ETL ustvarja ozka grla za Analytics
- Poenostavitev ETL s strojnim učenjem in AI
- Brez napak, brez stresa - vaš korak za korakom vodnik za ustvarjanje programske opreme, ki spreminja življenje, ne da bi vam uničila življenje
Vir: Pop Nukoonrat / Dreamstime.com
Odvzem:
Podatki so ključni za poslovanje, a da bi bili uporabni, pri zbiranju, obdelavi in predstavitvi teh podatkov ne sme biti napak. Umetna inteligenca lahko spremlja postopke ETL in se prepriča, da ne bo napak.
ETL (ekstrahiranje, preoblikovanje in nalaganje) je eden najpomembnejših procesov v analizi velikih podatkov - hkrati pa je lahko eden največjih ozkih grl. (Za več informacij o velikih podatkih si oglejte 5 koristnih velikih tečajev podatkov, ki jih lahko prevzamete na spletu.)
Razlog, da je ETL tako pomemben, je, da večina podatkov, ki jih podjetje zbira, v svoji surovi obliki ni pripravljena za prebavo analitične rešitve. Da bi rešitev za analitiko ustvarila vpogled, je treba surove podatke izvleči iz aplikacije, kjer trenutno prebiva, pretvoriti v obliko, ki jo lahko prebere analitični program, in jih nato naložiti v sam program analitike.
Ta postopek je analogen kuhanju. Vaše surove sestavine so vaši surovi podatki. Pred analizo (okušanjem) jih je treba izvleči (kupiti v trgovini), preoblikovati (kuhati) in nato naložiti (pospraviti). Težavnost in stroški lahko nepredvidljivo narastejo - enostavno je narediti mac n'sir zase, veliko težje pa sestaviti gurmanski meni za 40 ljudi na večerji. Ni treba posebej poudarjati, da napaka v katerem koli trenutku lahko vaš obrok postane neprebavljiv.
ETL ustvarja ozka grla za Analytics
ETL je na nek način osnova procesa analitike, vendar ima tudi nekaj pomanjkljivosti. Najprej je počasno in računsko drago. To pomeni, da podjetja pogosto dajejo prednost samo svojim najpomembnejšim podatkom za analitiko, ostale pa preprosto shranijo. To prispeva k dejstvu, da do 99% vseh poslovnih podatkov ostane neuporabljenih za namene analitike.
Poleg tega postopek ETL nikoli ni dokončen. Napake v postopku ETL lahko poškodujejo vaše podatke. Na primer, kratka napaka v omrežju lahko prepreči pridobivanje podatkov. Če vaši izvorni podatki vsebujejo več vrst datotek, se lahko napačno preoblikujejo. Garbage in, smeti zunaj, kot pravijo - napake med postopkom ETL se bodo gotovo zagotovo izrazile v smislu netočne analitike.
Poškodovan postopek ETL ima lahko slabe posledice. Tudi v najboljšem primeru boste verjetno morali znova zagnati ETL, kar pomeni zamudo ur - v tem času pa bodo vaši odločevalci nestrpni. V najslabšem primeru ne opazite netočne analitike, dokler ne začnete izgubljati denarja in strank.
Poenostavitev ETL s strojnim učenjem in AI
Lahko - in verjetno tudi - dodelite nekoga, ki spremlja ETL, vendar iskreno ni tako preprosto. Slabi podatki so lahko posledica napak v procesu, ki se zgodijo tako hitro, da jih ni mogoče opaziti v realnem času. Rezultati poškodovanega ETL procesa se pogosto ne razlikujejo od pravilno naloženih podatkov. Tudi ko so napake očitne, težave, ki je povzročila napako, morda ni tako enostavno izslediti. (Če želite izvedeti več o analizi podatkov, glejte Job Role: Data Analyst.)
Dobra novica je, da stroji ujamejo tisto, kar ljudje ne zmorejo. To je le nekaj načinov, kako lahko AI in strojno učenje lovijo napake ETL, preden se spremenijo v napačno analitiko.
Brez napak, brez stresa - vaš korak za korakom vodnik za ustvarjanje programske opreme, ki spreminja življenje, ne da bi vam uničila življenje
Ne morete izboljšati svojih programskih sposobnosti, če nikogar ne skrbi za kakovost programske opreme.
1. Zaznavanje in opozorilo v metrikah ETL
Čeprav so vaši podatki slika neprestano gibljiva, bi moral postopek ETL še vedno ustvarjati konsistentne vrednosti z enakomerno hitrostjo. Ko se te stvari spremenijo, povzroči alarm. Ljudje lahko vidijo velike nihaje v podatkih in prepoznajo napake, vendar strojno učenje lahko hitrejše prepozna napake. Sistem strojnega učenja lahko v realnem času ponudi odkrivanje anomalij in neposredno opozori IT oddelek, kar jim omogoči, da ustavijo postopek in odpravijo težavo, ne da bi jim morali zavreči ure računalniškega napora.
2. Določite posebne ozke grle
Tudi če so vaši rezultati točni, se lahko kljub temu izkažejo prepočasi, da bi bili uporabni. Gartner to pravi 80% vpogledov pridobljena iz analitike ne bo nikoli izkoriščena za ustvarjanje denarne vrednosti, zato je to, da vodja podjetja ne more videti vpogleda v času, da bi jo izkoristil. Strojno učenje vam lahko pove, kje se vaš sistem upočasni, in vam nudi odgovore - hitreje boste dobili boljše podatke.
3. Količinsko določite vpliv upravljanja sprememb
Sistemi, ki proizvajajo vaše podatke in analitiko, niso statični - stalno prejemajo popravke in nadgradnje. Včasih to vplivajo na način, kako proizvajajo ali razlagajo podatke, kar vodi do neresničnih rezultatov. Strojno učenje lahko označi rezultate, ki so se spremenili, in jih zasledi do določenega popravljenega stroja ali aplikacije.
4. Zmanjšajte stroške poslovanja
Zaustavljene analitične operacije so enakovredno izgubile denar. Čas, ki ga porabite, da ugotovite, kako rešiti težavo, ampak tudi kdo je odgovoren za reševanje težave je čas, ko bi lahko porabili stavbno vrednost. Strojno učenje pomaga priti do bistva zadeve tako, da opozori samo ekipe, ki so morda odgovorne za odzivanje na določene vrste incidentov, preostali del IT-oddelka pa omogoči, da nadaljujejo z opravljanjem glavnih nalog. Poleg tega bo strojno učenje pomagalo odpraviti lažne pozitivne rezultate, zmanjšalo bo celotno število opozoril, hkrati pa povečalo natančnost informacij, ki jih lahko posredujejo. Utrujenost opozorila je zelo resnična, zato bo ta sprememba merljivo vplivala na kakovost življenja.
Kar zadeva zmago v poslu, je analitika ključnega pomena. Značilna študija družbe Bain Capital kaže, da je pri podjetjih, ki uporabljajo analitiko, več kot dvakrat večja finančna uspešnost. ETL je temelj za uspeh na tem prizorišču, vendar zamude in napake lahko tudi preprečijo uspeh analitičnega programa. Strojno učenje torej postane neprecenljivo orodje za uspeh katerega koli analitičnega programa, saj pomaga pri zagotavljanju čistih podatkov in natančnih rezultatov.