Izkoriščanje Firehose: pridobivanje poslovne vrednosti od pretočnega analitika: prepis spletnega seminarja

Avtor: Louise Ward
Datum Ustvarjanja: 5 Februarjem 2021
Datum Posodobitve: 17 Maj 2024
Anonim
Webinar with Michael Hudson: a 4000-year perspective on economy, money and debt
Video.: Webinar with Michael Hudson: a 4000-year perspective on economy, money and debt

Odvzem: Voditeljica Rebecca Jozwiak razpravlja o analitičnem pretoku z vrhunskimi strokovnjaki v industriji.




Trenutno niste prijavljeni. Če si želite ogledati video, se prijavite ali prijavite.

Rebecca Jozwiak: Dame in gospodje, pozdravljeni in dobrodošli v Hot Technologies 2016! Današnji naslov je "Izkoristite Firehose: pridobivanje poslovne vrednosti od pretočnega analitika." To je Rebecca Jozwiak. Jaz sem drugi za voditelja spletnega prenosa, kadar naš dragi Eric Kavanagh ne more biti tu, zato je danes lepo videti toliko vas.

Ta epizoda se nekoliko razlikuje od drugih. Nekako smo se pogovarjali o tem, kaj je vroče in seveda letos vroče. Zadnjih nekaj let je bilo vroče. Vedno prihajajo nove stvari. Danes govorimo o pretočni analitiki. Pretočna analitika je nekako nova. Seveda pretakanje, sredinski podatki, RFID podatki niso nujno novi. Toda v zvezi s podatkovno arhitekturo smo desetletja tako osredotočeni na podatke v mirovanju. Baze podatkov, datotečni sistemi, shrambe podatkov - vse v večini namenov paketne obdelave. Toda zdaj s premikom za ustvarjanje vrednosti iz pretoka podatkov, podatkovnih čustev, nekateri to imenujejo živi tokovi, resnično potrebujejo strukturo, ki temelji na toku, ne pa podatke v mirovanju arhitektur, ki smo jih bili vajeni in ki bi jih morali imeti sposobni ravnanje s hitro zaužitjem, sprotno obdelavo ali skoraj v realnem času. Mora biti sposobna poskrbeti ne le za Internet stvari, ampak za internet vsega.


Seveda bi bilo v najboljšem primeru lepo, če bi dve arhitekturi živeli drug ob drugem, ena roka umivala, tako rekoč. Medtem ko so enodnevni podatki, podatki v tednih, stari podatki še vedno pomembni, zgodovinska analitika, analiza trendov, so podatki v živo tisti, ki v teh dneh poganjajo inteligenco v živo in zato je pretakanje analitike postalo tako pomembno.

Danes govorim več o tem. Dez Blanchfield se je oglasil iz Avstralije. Zdaj je zanj zgodaj zjutraj. Imamo našega glavnega analitika, dr. Robina Bloorja. Pridružuje se nam Anand Venugopal, vodja izdelka za podjetje StreamAnalytix v podjetju Impetus Technologies. Resnično so osredotočeni na vidik analitike v tem toku.

S tem bom šel naprej in ga posredoval Dezu.

Dez Blanchfield: Hvala vam. Tu moram prijeti nadzor nad zaslonom in se pomakniti naprej.

Rebecca Jozwiak: Izvoli.

Dez Blanchfield: Medtem ko sestavljamo diapozitive, naj samo predstavim osnovno temo.


Ohranil bom dokaj visoko raven in ohranil bom približno 10 minut. To je zelo velika tema. Sodeloval sem v dogodku, ko smo se dva do tri dni potapljali v podrobnosti o tem, kaj je obdelava tokov in trenutni okviri, ki jih razvijamo, in kaj naj bi pomenilo izvajanje analitike v teh velikih količinah.

Pojasnili bomo, kaj mislimo s pretakanjem analitike, nato pa se bomo poglobili v to, ali je mogoče pridobiti poslovno vrednost, ker to podjetja resnično iščejo. Iščejo, da bi jim ljudje zelo hitro in kratko pojasnili, od kod lahko pridobim vrednost s pomočjo neke oblike analitike za naše tokovne podatke?

Kaj je pretočna analitika?

Pretočna analitika organizacijam omogoča pridobivanje vrednosti iz podatkov velikega obsega in hitrosti, ki jih skozi podjetje prihajajo v različnih oblikah v gibanju. Bistvena razlika je v tem, da smo že dolgo razvijali analitiko in objektiv ter poglede na podatke, ki smo jih v mirovanju obdelovali desetletja, odkar je bil izumljen mainframe. Ogromen premik paradigme, ki smo ga videli v zadnjih treh do petih letih pri tem, čemur pravimo "spletna lestvica", je vpiranje v tokove podatkov, ki prihajajo v nas v realnem času ali skoraj v realnem času, in ne samo obdelava in iskanje korelacije dogodkov oz. sprožilec dogodkov, vendar izvaja resnično natančno in poglobljeno analitiko v teh tokovih. To je pomemben premik k tistemu, kar smo delali prej, in sicer bodisi zbiranje podatkov, dajanje v nekakšno shrambo, zdaj že tradicionalno velike baze podatkov, veliki veliki okviri podatkov, kot je platforma Hadoop, in izvajanje tega paketnega načina obdelave ter pridobivanje nekakšen vpogled.

To smo zelo dobro naredili zelo hitro in poskušali z veliko težkega železa, vendar še vedno resnično zajemamo podatke, jih hranimo in nato pogledamo ter na njih dobimo kakšen vpogled ali analitiko. Premik k izvajanju teh analitičnih podatkov, ko se podatki pretakajo, je bil zelo novo in vznemirljivo območje rasti za vrste stvari, ki se dogajajo okoli velikih podatkov. Za zajem, shranjevanje in obdelavo ter izvajanje analitike je potreben popolnoma drugačen pristop.

Eden ključnih dejavnikov premika in osredotočenosti na izvajanje analitike v toku je, da lahko pridobite pomembne poslovne vrednosti, če hitreje in hitreje pridobivate te vpoglede, ko podatki prihajajo k vam, saj so informacije na voljo podjetju. Zamisel o končni obdelavi danes v nekaterih panogah ni več pomembna. Želimo biti sposobni narediti analitiko v hipu. Do konca dneva že vemo, kaj se je zgodilo, kot se je zgodilo, namesto da bi prišli do konca dneva in opravili 24-urno paketno delo ter dobili ta vpogled.

Pretočna analitika pomeni, da se pretaknemo v ta tok, medtem ko so tokovi podatkov ponavadi več tokov zelo velikih količin podatkov in podatkov, ki pridejo k nam v gibanje zelo, zelo hitro in dobivamo vpogled ali analitiko v te tokove, če pridejo do nas. dovoliti, da to pride v mirovanju in izvaja analitiko na njih.

Kot sem že omenil, smo desetletja in desetletja izvajali tako imenovano paketno analitiko. Tu sem dal res kul sliko. To je slika gospoda, ki stoji pred zasmešenim računalnikom, ki ga je družba RAND Corporation ustvarila pred življenjem in tako so si ogledali računalnik v hiši. Zanimivo je, da so že takrat imeli ta koncept vseh teh majhnih številk, ki so predstavljale informacije, ki prihajajo iz hiše in so v realnem času obdelane in vam povedo, kaj se dogaja. Preprost primer je niz barometričnega tlaka in temperature, s katerim lahko vidimo, kje se dogaja v realnem času. Vendar si predstavljam, da so že takrat, ko je korporacija RAND zbrala ta mali model, v resnici razmišljali že o obdelavi podatkov in izvajanju analitike, ko gre v obliki pretoka. Nisem povsem prepričan, zakaj so v računalnik postavili volanski obroč, vendar je to precej kul.

Od izuma napake smo si ogledali zajem podatkov in izvajanje paketne analize. Kot sem že povedal z velikim premikom in smo to videli že od všečkov igralcev spletne lestvice, za katere vsi vemo, da so vse blagovne znamke gospodinjstev in LinkedIn, da interaktivno vedenje, ki ga imamo s temi socialnimi platformami, zahteva ne samo zajemajo, shranjujejo in nato obdelujejo v paketnem načinu, ampak dejansko zajemajo in poganjajo analitiko med letenjem iz tokov podatkov, ki prihajajo skozi. Ko nekaj objavim, ne samo, da jih potrebujejo za kasnejšo zajemanje in shranjevanje in naredijo, ampak morajo biti sposobni, da to takoj postavijo nazaj na moj tok in jih delijo z drugimi, ki mi sledijo. To je model serijske obdelave.

Zakaj bi se spustili po tej poti? Zakaj bi organizacije vlagale čas, trud in denar, če sploh razmišljajo o izzivu, kako si prizadevati po poti tokovne analitike? Organizacije imajo to veliko željo po doseganju uspeha nad svojimi konkurenti v panogah, v katerih se nahajajo, in da je mogoče izboljšanje uspešnosti hitro implementirati s preprosto analitiko toka, začeti pa se lahko s preprostim sledenjem podatkov v realnem času, ki smo jih že seznanjen z. Tam imam malo posnetka zaslona Google Analytics. Verjetno je to eden prvih primerov, ko smo resnično dobili analitiko potrošnikov. Ko so ljudje obiskovali vaše spletno mesto in prejemali štetje zadetkov, so z majhnim koščkom JavaScript na dnu vaše spletne strani v HTML, vgrajenim na vašem spletnem mestu, te majhne kode nastajale v Googlu v realnem času in so bile izvajanje analitike na tistih tokovih podatkov, ki prihajajo z vsake strani na vašem spletnem mestu, vsakega predmeta na vašem spletnem mestu v realnem času in vam ga vrnejo na to resnično luštno spletno stran na nadzorni plošči grafov v realnem času, luštnih malih histogramov in vrstice graf, ki prikazuje X število ljudi, ki so zgodovinsko posegli po vaši strani, ampak tukaj jih je trenutno veliko.

Kot lahko vidite na posnetku zaslona, ​​trenutno piše 25. V času snemanja tega posnetka je trenutno 25 ljudi, ki so bili na tej strani. To je prva resnična priložnost, ki smo jo imeli na orodju za analitično oceno potrošnikov. Mislim, da ga je veliko ljudi res dobilo. Pravkar so razumeli moč vedeti, kaj se dogaja in kako se lahko odzovejo na to. Ko pomislimo na lestvico letalskih letal, ki letijo naokoli, je samo v ZDA 18.700 domačih letov na dan. Pred časom sem prebral članek - približno šest ali sedem let -, da je bila količina starega inženirskega modela približno 200 do 300 megabajtov v starem inženirskem modelu. V današnjih načrtih letal ta letala ustvarijo približno 500 gigabajtov podatkov ali približno pol terabajta podatkov na let.

Ko matematično opravite zelo hitro z vrha glave, je 18.700 domačih letov vsakih 24 ur samo v ameriškem zračnem prostoru, če vsa sodobna letala proizvedejo približno pol terabajta, to je 43 do 44 petabajtov podatkov, ki prihajajo skozi oz. dogaja se, medtem ko so letala v zraku. To se dogaja, ko pristanejo in odlagajo podatke. Takrat grejo v trgovino in imajo polne podatke iz inženirskih ekip, da pogledajo, kaj se dogaja v ležajih, kolesih in v motorjih. Nekatere od teh podatkov je treba obdelati v realnem času, tako da se lahko odločajo, če je letalo v zraku ali ko je na zemlji resnično težava. V paketnem načinu tega preprosto ne morete storiti. V drugih panogah, ki jih vidimo zunaj financ, zdravstva, proizvodnje in inženiringa, si ogledujejo tudi, kako lahko dobijo ta nov vpogled v dogajanje v realnem času, v nasprotju s tistim, kar se samo shranjuje v bazah podatkov na izraz.

Obstaja tudi ta koncept ravnanja s podatki kot tistim, čemur pravim pokvarljivo blago ali hitro pokvarljivo blago - da veliko podatkov sčasoma izgubi vrednost. Vse pogosteje je to pri aplikacijah za mobilnost in orodjih za družabne medije, kajti tisto, na kar ljudje govorijo in je zdaj v trendu, je tisto, na kar želite odgovoriti. Ko razmišljate o drugih delih našega življenja z logistiko in pošiljanjem hrane naokoli, razumemo koncept pokvarljivega blaga v tem smislu. Pomislite pa na podatke, ki potekajo skozi vašo organizacijo, in na vrednost, ki jo ima. Če nekdo zdaj z vami posluje in z njimi lahko komunicirate v realnem času, ne želite čakati eno uro, da se podatki lahko zajamejo in dajo v sistem, kot je Hadoop, in nato pritisnete ta gumb, se zdaj ne bo mogel spoprijeti z njim in želite, da to takoj storite na zahtevo stranke. Zdaj se bo pojavil izraz, ki se bo pojavil veliko, kjer ljudje govorijo o tem, da ima ta tok podatkov v realnem času, ki vam omogoča personalizacijo, in o prilagoditvi v sistemu, ki ga uporabljate, glede na vaše osebne izkušnje. Če na primer zadete orodje, kot je orodje Google Search, če poizvem in storite isto poizvedbo, nenehno ne dobimo popolnoma enakih podatkov. V bistvu dobimo tisto, kar navajam kot izkušnjo slavnih. Zdravim se enkratno. Imam osebno različico tega, kar se dogaja v teh sistemih, na podlagi profilov in podatkov, ki so jih zbrali o meni, in analitiko sem lahko opravil v realnem času v toku.

Ta ideja, da so podatki hitro pokvarljivo blago, je za zdaj resnična stvar, vrednost podatkov, ki se sčasoma zmanjšujejo, pa je nekaj, s čimer se moramo ukvarjati danes. To ni stvar včeraj. Všeč mi je ta slika medveda, ki lovi lososa, ki skače iz reke, ker res slika točno tisto, kar vidim v analitiki. To množično reko podatkov prihaja k nam, če hočete, medved pa sredi potoka. Izvajala bo analitiko v realnem času na tem, kaj se dogaja okoli njega, tako da bo dejansko lahko uresničila svojo sposobnost zajema te ribe v zraku. Ni tako, da bi le potopili v tok in ga zgrabili. Ta stvar skače v zraku in mora biti ob pravem času na pravem mestu, da ujameš to ribo. V nasprotnem primeru ne dobi zajtrka ali kosila.

Organizacija želi enako storiti s svojimi podatki. Želijo pridobiti vrednost iz zdaj že ogromnih količin podatkov v gibanju. Želijo izvajati analitiko na teh podatkih in podatkih o visoki hitrosti, tako da ne gre le za količino podatkov, ki nam prihaja, ampak hitrost, s katero prihajajo. Na primer glede varnosti so vsi vaši usmerjevalniki, stikala, strežniki, požarni zidovi in ​​vsi dogodki, ki prihajajo iz teh in več deset tisoč, če ne več sto tisoč naprav, v nekaterih primerih pa so pokvarljivi podatki. Ko o tem razmišljamo v internetu stvari in industrijskem internetu, govorimo o milijonih, če ne celo milijardah senzorjev, in ko podatki prihajajo skozi, ki izvaja analitiko, zdaj preučujemo kompleksne obdelave dogodkov z ukazom velikosti in hitrosti, kakršne še nikoli nismo videli in se moramo danes spoprijeti s tem. Okrog tega moramo izdelati orodja in sisteme. Za organizacije je resničen izziv, saj imamo na eni strani zelo velike blagovne znamke, ki delajo naredi sam, pečejo ga same, ko imajo zmogljivosti za to in spretnosti ter inženiring. Toda za povprečno organizacijo ni tako. Nimajo nabora spretnosti Nimajo niti zmogljivosti niti časa ali denarja, da bi ga vložili v to. Vsi so usmerjeni v ta koncept odločanja skoraj v realnem času.

Uporabite primere, ki sem jih zasledila, in so v širokem spektru vsakega sektorja, ki si ga lahko zamislite, ljudje sedijo in pozorni in pravijo, kako uporabimo nekaj analitike za naše podatke o toku? Govorimo o spletnih storitvah na spletu. Obstajajo tradicionalne platforme za socialne medije in spletna e-tailing in trgovina na drobno - na primer aplikacije. Vsi nam poskušajo omogočiti to izkušnjo slavnih v realnem času. Ko pa se lotimo več storitev zlaganja tehnologij, telefonskih storitev, govornega in videoposnetka, vidim ljudi, ki se sprehajajo po telefonu FaceTime. Samo eksplodira. Zdi se mi, da ljudje držijo telefon pred seboj in se pogovarjajo s video tokom prijatelja, namesto da bi ga več držal za uho. A vedo, da to zmorejo, in prilagodili so se in všeč jim je bila ta izkušnja. Razvoj teh aplikacij in platform, ki jih ponujajo, je treba opraviti analitiko v realnem času na tem prometu in na profilih prometa, tako da lahko naredijo preproste stvari, kot je popoln usmerjanje tega videoposnetka, tako da kakovost glasu v video, ki ga dobite, je primeren za dobro izkušnjo. Te vrste podatkov ne morete obdelovati. Zaradi tega tok v realnem času ne bi postal funkcionalna storitev.

Pri finančnih transakcijah je izziv upravljanja. Ni v redu, da pridete do konca dneva in ugotovite, da ste prekršili zakon, ko se zasebni podatki premikajo po kraju. V Avstraliji imamo zelo zanimiv izziv, pri katerem ne gre za premikanje podatkov, povezanih z zasebnostjo, na morje. PID-a, mojih osebnih osebnih identifikacijskih podatkov ne morete vzeti v morje. V Avstraliji obstajajo zakoni, ki preprečujejo, da bi se to dogajalo. Ponudniki finančnih storitev, še posebej vladne službe in agencije, morajo z njimi izvajati analitiko v realnem času, da se prepričajo, da tisto, kar mi nudijo, ne zapusti obrežja. Vse stvari morajo ostati lokalno. To morajo storiti v realnem času. Ne morejo prekršiti zakona in pozneje prositi za odpuščanje Odkrivanje goljufij - precej očitno je tisto, kar slišimo pri transakcijah s kreditnimi karticami. Ker pa se vrste transakcij, ki jih opravljamo v finančnih storitvah, spreminjajo zelo, zelo hitro, obstajajo različne stvari, ki jih PayPal počne najprej pri odkrivanju goljufij v realnem času, ko se denar ne premika iz ene stvari v drugo, ampak je finančna transakcija med sistemi. Platforme za zbiranje ponudb na eBayu in odkrivanje prevar je treba izvajati v realnem času v pretočni pisarni.

Zdaj se pojavlja trend izvajanja dejavnosti črpanja in preoblikovanja obremenitve v potokih, zato ne želimo zajeti ničesar, kar gre v tok. Tega res ne moremo storiti. Ljudje so se naučili, da se podatki radi zelo hitro lomijo, če zajamemo vse. Trik je zdaj v tem toku izvajati analitiko in izvajati ETL in samo zajemati tisto, kar potrebujete, potencialno metapodatke, in nato voziti prediktivno analitiko, kjer lahko dejansko povemo, kaj se bo zgodilo malo naprej po poteh tega, kar V toku smo pravkar videli na podlagi analitike, ki smo jo opravili na tem področju.

Ponudniki energije in komunalnih storitev doživljajo to množično željo potrošnikov po ceni povpraševanja. Mogoče se bom odločil, da želim kupiti zeleno elektriko ob določenem času dneva, ker sem samo doma in ne uporabljam veliko naprav. Če pa imam večerjo, bi morda želel imeti vse svoje naprave in ne želim kupovati poceni elektrike in čakati, da jo dostavijo, ampak sem pripravljen plačati za več stroškov, da dobim to moč. Taka cena povpraševanja, zlasti v komunalnih in energetskih prostorih, se je že zgodila. Uber je na primer klasičen primer stvari, ki jih lahko počnete vsak dan, in vse temelji na oblikovanju cen povpraševanja. Nekaj ​​klasičnih primerov je, da ljudje v Avstraliji zaradi velikega povpraševanja na silvestrovo dobijo 10.000 dolarjev vozovnic. Prepričan sem, da so se s tem vprašanjem ukvarjali, vendar analitiko pretoka izvajajo v realnem času, medtem ko v avtu povedo, koliko bi moral plačati.

Internet stvari in senzorski tokovi - na tem mestu smo samo opraskali površino in v resnici smo imeli samo osnovni pogovor o tem, vendar bomo videli zanimiv premik, kako se tehnologija ukvarja s tem, ker ko ne govorite približno tisoč ali deset tisoč, toda na stotine tisoč in potencialno več milijard naprav, ki se pretakajo do vas, skoraj nobena tehnološka zbirka, ki jo imamo zdaj, ni zasnovana za to.

Obstaja nekaj resnično vročih tem, ki jih bomo povsod videli, kot so varnost in kibernetsko tveganje. Za nas so resnični izzivi. Na spletu obstaja resnično lepo orodje, imenovano Sever, kjer lahko v realnem času sedite in gledate na spletni strani različne kibernetske napade. Ko pogledate to, si mislite, "oh, lepa luštna spletna stran", vendar po približno petih minutah tam zaznate količino podatkov, ki jih sistem izvaja analitično v vseh različnih tokovih vseh različnih naprav po vsem svetu. ki se hranijo vanje. Začeli ste si omisliti, kako to v bistvu izvajajo na robu tega posnetka in vam priskrbi preprost mali zaslon, ki vam pove, kaj ali kaj drugega napada v realnem času in katere vrste napadov. Vendar je resnično majhen način, da samo dobite okus, kaj lahko analitika pretokov v resničnem času naredi za vas, tako da samo gledate to stran in dobite občutek le obsega in izziva, da boste pretočno pretočili, obdelali analitične poizvedbe njih in predstavljajo to v realnem času.

Mislim, da bo pogovor, ki ga imam do konca seje, obravnaval vse te stvari z enim zanimivim pogledom, in to je izziv podjetja "Naredi si sam", izpiši ga, ustreza nekaj klasični samorogi, ki si lahko privoščijo zgraditi te vrste stvari. Dobili so več milijard dolarjev za gradnjo teh inženirskih skupin in za gradnjo njihovih podatkovnih centrov. Toda za 99,9% tamkajšnjih organizacij, ki želijo doseči vrednost pri svojem poslovanju z analitiko pretoka, morajo dobiti brezplačno storitev. Nakup izdelka morajo kupiti na novo in običajno potrebujejo nekaj svetovalnih in strokovnih storitev, ki jim bodo pomagale pri izvajanju, to vrednost pa dobijo nazaj v poslu in ga prodajo podjetju kot delovno rešitev.

S tem se bom vrnil, Rebecca, ker verjamem, da bomo zdaj to podrobno opisali.

Rebecca Jozwiak: Odlično. Najlepša hvala, Dez. To je odlična predstavitev.

Zdaj bom žogo poslal Robinu. Vzemi stran.

Robin Bloor: V redu. Ker je Dez prešel v dušično trdoto predelave tokov, se mi ni zdelo smiselno, da bi ga spet zajel. Zato bom samo povsem strateško gledal.Če pogledam skoraj z zelo visoke ravni navzdol na to, kaj hudiča se dogaja, in to postavim, ker mislim, da bi lahko pomagal ljudem, še posebej nam ljudem, ki že pred tem niso ujeti v tokove, ki obdelujejo velike globine.

Obdelava tokov poteka že dolgo. Včasih smo ga imenovali CEP. Pred tem so obstajali sistemi v realnem času. Prvotni sistemi za nadzor procesov so dejansko obdelovali tokove informacij - seveda nič ne gre tako daleč kot danes. Ta grafika, ki jo vidite na diapozitivu; dejansko opozarja na veliko stvari, vendar poudarja zgoraj in zunaj česa drugega - dejstvo, da je tu dolg spekter zamud, ki se pojavljajo v različnih barvah. Od izuma računalništva ali komercialnega računalništva, ki je prišel prav okoli leta 1960, se je dejansko zgodilo, da je vse postalo hitreje in hitreje. Včasih smo bili odvisni od tega, kako se to dejansko izkaže, če vam je všeč v valovih, ker tako izgleda. To je dejansko odvisno od tega. Ker ga je vse poganjalo Mooresovo pravo in bi Mooresov zakon dal faktor približno desetkratne hitrosti v obdobju približno šestih let. Potem, ko smo dejansko prišli do leta 2013, se je vse pokvarilo in nenadoma smo začeli pospeševati s hitrostjo, kakršne še nikoli nismo, kar je nenavadno brez primere. Povečanje hitrosti in s tem zmanjšanje zamude približno vsakih šest let smo dobili približno deset. V šestih letih od približno leta 2010 jih imamo več kot tisoč. Tri zaporedja namesto enega.

To se dogaja in zato se industrija tako ali drugače zdi, da se giblje s fantastičnimi hitrostmi - ker je. Samo skozi pomen te posebne grafike so odzivni časi pravzaprav mimogrede v algoritmičnem merilu navpično. Realni čas je računalniška hitrost, hitrejša od človeka. Interaktivni časi so oranžni. To je čas, ko komunicirate z računalnikom, kjer resnično želite od ene desetine do približno ene sekunde zamude. Zgoraj obstaja transakcija, kjer dejansko razmišljamo o tem, kaj počnete v računalniku, če pa to izzveni v približno petnajstih sekundah, postane nevzdržno. Ljudje dejansko ne bi čakali na računalnik. Vse je potekalo v šarži. Veliko stvari, ki smo jih naredili v paketu, se zdaj spušča desno v transakcijski prostor, desno v interaktivni prostor ali celo v vesolje v realnem času. Medtem ko smo valovito z zelo majhnimi količinami podatkov, ki bi jih lahko naredili nekaj tega, lahko zdaj storimo z zelo velikimi količinami podatkov z uporabo zelo povečanega okolja.

Torej, v bistvu vse to pravi, da so res časi transakcij in interaktivnega človekovega odziva. Ogromno tega, kar trenutno počnemo s potoki, je informiranje ljudi o stvareh. Nekateri se dogajajo hitreje od tega in stvari dobro obveščajo, tako da je v realnem času. Potem si vzamemo dovoljenje, da le tako pademo kot kamen, zaradi česar je takojšnja analitika izvedljiva in mimogrede precej dostopna. Ni samo hitrost padla, vrh pa se je tudi sesul. Verjetno največji vpliv na vse te med vsemi različnimi aplikacijami lahko opravite z vsemi temi napovednimi analitikami. Povedal ti bom, zakaj čez minuto.

To je samo trgovina strojne opreme. Imate vzporedno programsko opremo. Govorimo o letu 2004. Razširjena arhitektura, večjedrni čipi, povečanje pomnilnika, nastavljiv CPU. SSD diski zdaj gredo toliko hitreje kot predenje diska. Precej valov se lahko poslovite od diska. SSD diski so tudi v več jedrih, zato spet hitreje in hitreje. Kmalu se prikaže, HP smo dobili memristor. 3D XPoint imamo od Intela in Microna. Obljuba teh je, da bo vseeno vse hitreje in hitreje. Ko dejansko razmišljate o dveh novih pomnilniških tehnologijah, ki bosta obe temeljni delček, bo posamezno vezje šlo hitreje, še nismo videli konca.

Streams tehnologija, ki je naslednja, je res tu, da ostane. Morala bo nova arhitektura. Mislim, Dez je to v svoji predstavitvi nekako omenil v več točkah. Desetletja smo na arhitekturo gledali kot na kombinacijo kopic podatkov in podatkovnih cevi. Težili smo k obdelavi skupin in podatke smo pošiljali med skupine. Zdaj gremo v bistvu k temu, čemur pravimo arhitektura podatkov Lambda, ki združuje obdelavo podatkovnih tokov s kopico podatkov. Ko tok dogodkov, ki prihajajo proti zgodovinskim podatkom, dejansko obdelujete kot tok podatkov ali kopico podatkov, to mislim na Lambda arhitekturo. To je v povojih. To je le del slike. Če se vam zdi nekaj tako zapletenega kot Internet vsega, kar je omenil tudi Dez, boste dejansko ugotovili, da obstajajo različne vrste težav z lokacijo podatkov - odločitve o tem, kaj morate obdelati v toku.

Tu resnično pravim, da smo ob obdelavi v šarži dejansko predelali tokove. Tega ne bi mogli storiti drug za drugim. Počakamo samo, da pride do velikega števila stvari in nato vse naenkrat predelamo. Premaknili smo se v situacijo, ko lahko dejansko predelamo stvari v toku. Če lahko obdelujemo stvari v toku, potem bodo kopice podatkov, ki jih imamo, statični podatki, ki jih moramo navesti za obdelavo podatkov v toku.

To nas vodi do te posebne stvari. To sem že omenil v neki predstavitvi z biološko analogijo. Način, o katerem bi rad razmišljal, je v tem trenutku, ko smo ljudje. Imamo tri različne mreže za sprotno prediktivno obdelavo. Imenujejo jih somatski, avtonomni in enterični. Začetek je tvoj želodec. Avtonomni živčni sistem skrbi za boj in polete. Pravzaprav skrbi za hitre reakcije okolja. Somatično, ki skrbi za premikanje telesa. To so sistemi v realnem času. Zanimivost pri tem - ali mislim, da je nekako zanimiva - je veliko bolj napovednega, kot bi si sploh predstavljali. Kot da dejansko gledate zaslon približno 18 centimetrov od obraza. Vse, kar lahko jasno vidite, vse kar je vaše telo sposobno jasno videti, je pravzaprav približno pravokotnik velikosti 8 × 10. Vse, kar je zunaj tega, je dejansko zamegljeno, kar zadeva vaše telo, toda vaš um se dejansko zapolni v vrzeli in ne postane zamegljen. Sploh ne vidite zamegljenosti To jasno vidite. Vaš um dejansko dela prediktivno metodo pretoka podatkov, da bi videli to jasnost. To je nekaj radovednega, toda dejansko si lahko ogledate način delovanja živčnega sistema in način, kako nam uspe obiti in se obnašati razumno - vsaj nekateri od nas - razumno zdravo in se ne srečujemo s stvarmi ves čas.

Tu je vse narejeno z nizom lestvic nevronske analitike. Zgodilo se bo, da bodo organizacije imele isto vrsto stvari in bodo zgradile isto vrsto stvari in bo to obdelava tokov, vključno z notranjimi tokovi organizacije - stvari, ki se dogajajo znotraj stvari, ki se dogajajo zunaj nje, trenutni odzivi, ki jih je dejansko treba sprejeti, so seveda hranjenje človeka za sprejemanje odločitev, da se vse to zgodi. Toliko smo šli, kolikor vidim.

Posledica tega je, da raven aplikacije za pretakanje poteka dobro. To bo veliko več, kot zdaj vidimo. Trenutno beremo sadje, ki je videti nizko, da bi počeli očitne stvari.

Tako ali tako je tukaj zaključek. Pretočna analitika je nekoč niša, vendar postaja mainstream in bo kmalu na splošno sprejeta.

S tem ga bom poslal nazaj Rebeki.

Rebecca Jozwiak: Najlepša hvala, Robin. Odlična predstavitev kot običajno.

Anand, naslednji si. Tla so tvoja.

Anand Venugopal: Fantastično. Hvala vam.

Moje ime je Anand Venugopal in sem vodja izdelka za StreamAnalytix. To je izdelek, ki ga ponuja Impetus Technologies iz mesta Los Gatos v Kaliforniji.

Impetus je imel v resnici veliko zgodovino, saj je bil velik ponudnik podatkovnih rešitev za velika podjetja. Tako smo dejansko storili številne izvajanja pretočne analitike kot storitveno podjetje in izvedeli smo veliko lekcij. V zadnjih nekaj letih smo se tudi spremenili v proizvodno podjetje in podjetje, ki temelji na rešitvah, analitika pretoka pa je usmerjena v preoblikovanje Impetusa v podjetje, ki je v veliki meri usmerjeno na izdelke. Obstaja nekaj kritičnih, zelo, zelo ključnih sredstev, ki jih je Impetus odstranil zaradi naše izpostavljenosti do podjetij in StreamAnalytix je eno izmed njih.

20 let poslujemo in velika kombinacija izdelkov in storitev je velika prednost. In StreamAnalytix se je rodil iz vseh lekcij, pridobljenih iz prvih petih ali šestih implementacij pretakanja.

Dotaknil se bom nekaj stvari, toda analitiki, Dez in Robin, so fantastično opravili na splošno pokrivanje vesolja, tako da bom preskočil veliko vsebine, ki se prekriva. Verjetno bom šel hitro. Poleg resničnih pretočnih primerov vidimo veliko samo pospeševanja šarže, kjer v podjetjih obstajajo dobesedno zelo, zelo pomembni šaržni procesi. Kot lahko vidite, bi lahko celoten cikel zaznavanja dogodka in njegove analize ter delovanja nanje dejansko trajal tedne v velikih podjetjih, ki jih vsi poskušajo skrčiti na nekaj minut, včasih pa na sekunde in milisekunde. Torej karkoli hitreje kot vsi ti paketni postopki kandidirajo za pridobitev podjetja, in to je zelo dobro, saj se vrednost podatkov s starostjo dramatično zmanjšuje, zato je večja vrednost v začetnem delu v nekaj sekundah, ko se je pravkar zgodilo. V idealnem primeru, če bi lahko napovedali, kaj se bo zgodilo, je to največja vrednost. To je odvisno od natančnosti. Naslednja najvišja vrednost je, ko je tam, ko se dogaja, pa jo lahko analizirate in odgovorite. Seveda se vrednost dramatično zmanjša po tem, glavnem omejevalnem BI-ju, v katerem smo.

Zanimivo je. Morda boste pričakovali dramatično znanstven odgovor na to, zakaj se pretaka analitika. V mnogih primerih vidimo, da je to, ker je zdaj to mogoče in ker vsi vedo, da je šarža stara, je serija dolgočasna in serija ni kul. Vsi imajo zdaj dovolj izobrazbe o tem, da je možno pretakanje in vsi imajo Hadoop zdaj. Zdaj je v distribucijah Hadoop vgrajena tehnologija za pretakanje, ne glede na to, ali gre za Storm ali Spark in seveda čakalne vrste, kot je Kafka itd.

Podjetja, ki jih vidimo, skačejo vanjo in začnejo eksperimentirati s temi primeri in vidimo dve široki kategoriji. Ena ima nekaj opravka z analitiko in izkušnjami strank, druga operativna inteligenca. Nekaj ​​podrobnosti o tem bom prejel nekoliko kasneje. Celotna potrošniška služba in izkušnja s strankami in mi v podjetju Impetus StreamAnalytix smo to storili na več različnih načinov, je res vse v resnici, resnično zajamejo večkanalno sodelovanje potrošnikov v realnem času in jim omogočimo zelo, zelo občutljive izkušnje ki danes niso pogoste. Če brskate po spletu, na spletnem mestu Bank of America in ste raziskovali nekatere izdelke in preprosto pokličete klicni center. Bi rekli: "Hej Joe, vem, da si raziskoval nekatere bančne izdelke, bi rad, da te izpolnim?" Ne pričakuješ tega danes, toda to je resnično možno doživetje s pretakanjem analitike. V mnogih primerih je to zelo pomembno, še posebej, če je stranka začela raziskati načine, kako izstopiti iz pogodbe s tabo, tako da na svojem spletnem mestu pogleda klavzule o predčasnem odpovedi ali pogoje predčasne odpovedi, nato pa se oglasite in ne morete neposredno se soočiti z njimi, vendar samo posredno dajte ponudbo o kakšni prvi promociji, ker sistem ve, da ta oseba išče predčasno odpoved in vi to ponudbo v tistem trenutku zelo dobro zaščitite, če bi kupca ohranili in zaščitili to sredstvo .

To bi bil en primer, poleg tega pa je veliko storitev za stranke zelo dober primer. Danes uvajamo stroške v klicnem centru in zagotavlja dramatične prijetne izkušnje strank. Dez je opravil veliko delo pri povzetju nekaterih primerov uporabe. Nekaj ​​minut lahko buljite v ta grafikon. Uvrstil sem ga med vertikale, vodoravnike in kombinirana območja, IoT, mobilne aplikacije in klicni center. Vse so navpične in vodoravne. Odvisno je, kako gledate na to. V nadaljevanju vidimo veliko horizontalnih načinov uporabe, ki so dokaj pogosti v vertikali industrije in obstajajo primeri vertikalne posebne uporabe, vključno s finančnimi storitvami, zdravstvom, telekomunikacijami, proizvodnjo itd. da, "o, ne vem, kakšni primeri uporabe so. Nisem prepričan, ali je v prenosu analitike za moje podjetje ali za naše podjetje res kakšna poslovna vrednost, «dobro premislite, premislite dvakrat. Pogovorite se z več ljudmi, ker obstajajo primeri uporabe, ki so v vašem podjetju danes pomembni. Spoznala bom vrednost podjetja, kako natančno izhaja vrednost podjetja.

Na dnu piramide imate napovedno vzdrževanje, varnost, zaščito pred rokovanjem itd. Te vrste uporabe pomenijo zaščito prihodkov in premoženja. Če bi Target zaščitil njihovo kršitev varnosti, ki se je zgodila več ur in tednov, bi mu CIO lahko rešil službo. Prihranili bi lahko več deset ali sto milijonov dolarjev itd. Analitika v realnem času resnično pomaga pri zaščiti teh sredstev in zaščiti izgub. To je direktna dodana vrednost podjetja.

Naslednja kategorija postaja vse bolj donosna, znižuje stroške in prinaša več prihodkov iz tekočega poslovanja. To je učinkovitost trenutnega podjetja. Vse to so primeri uporabe, ki jih imenujemo operativna obveščanje v realnem času, kjer dobite globok vpogled v to, kako se omrežje obnaša, kako se vedejo vaše stranke, kako se obnaša vaš poslovni proces in ste sposobni spremeniti vse to v realnem času, ker dobiš povratne informacije, dobiš opozorila. V realnem času dobite odstopanja, odstopanja in lahko hitro ukrepate in ločite postopek, ki poteka zunaj meja.

Lahko bi prihranili tudi veliko denarja pri dragih kapitalskih posodobitvah in stvareh, za katere menite, da so potrebne, kar morda ne bi bilo potrebno, če bi optimizirali omrežno storitev. Slišali smo za primer, ko je glavni telco odložil 40 milijonov dolarjev nadgradnjo svoje omrežne infrastrukture, ker so ugotovili, da imajo dovolj zmogljivosti za upravljanje svojega trenutnega prometa, kar je z optimizacijo in boljšim izvajanjem inteligentnega usmerjanja prometa in podobnih stvari. Vse to je mogoče le z nekaj analitičnega in akcijskega mehanizma v realnem času, ki deluje na ta vpogled v realnem času.

Naslednja raven dodane vrednosti je up-sell, cross-sell, kjer obstajajo možnosti za večji prihodek in dobiček iz trenutne ponudbe. To je klasičen primer, za katerega mnogi od nas vedo, da so doživeli, kje v življenju pomislite, kje ste danes pripravljeni dejansko kupiti izdelek, ki vam ga ne ponujajo. V mnogih, mnogih primerih se to dejansko zgodi. V mislih imate stvari, ki jih radi kupujete, za katere veste, da želite kupiti, da imate seznam opravkov ali kaj podobnega, kar vam je povedala žena ali če nimate žene, vendar ste si res želeli kupiti in greš bodisi v nakupovanje na spletnem mestu bodisi v trgovino z maloprodajnimi mesti, samo trgovina nima nobene možnosti, nima inteligence, da bi izračunala, kaj bi morda potrebovala. Zato svojega poslovanja ne bodo varni. Če bi se analitika za pretakanje lahko uporabila za resnično natančne napovedi in ki so resnično možne glede tega, kaj bi najbolj ustrezalo temu posebnemu mnenju, je ta stranka trenutno na tej lokaciji, je veliko prodaj in navzkrižne prodaje, in to spet prihaja iz pretočna analitika - možnost odločitve o nagnjenosti k temu, kar bo ta stranka verjetno kupila ali se odzvala v resničnem trenutku, ko obstaja priložnost. Zato imam rad tisto sliko, ki jo je Dez pokazal z medvedom, ki je ravno pojedel to ribo. To je precej.

Prav tako menimo, da obstaja velika kategorija dramatičnih, transformacijskih sprememb v podjetju, ki ponujajo popolnoma nove izdelke in storitve, ki preprosto temeljijo na opazovanju vedenja kupcev, vse pa temelji na opazovanju vedenja drugega podjetja. Če recimo telco ali kabelsko podjetje res opazuje vzorce uporabe kupcev v katerem segmentu trga si ga ogleda, kakšen program ob katerem času itd., Dejansko ustvarijo izdelke in storitve, ki jih skoraj prosijo na nek način. Torej je celoten koncept vedenja na več zaslonih zdaj, ko ga zdaj skorajda razumemo, da lahko v naših mobilnih aplikacijah gledamo TV ali kabelsko vsebino. Nekaj ​​teh primerov izvira iz novih izdelkov in storitev, ki se nam ponujajo.

Udeležil se bom, "Kakšni so arhitekturni vidiki pretočne analitike?" Poskusimo storiti na koncu. To je Lambda arhitektura, v kateri mešate zgodovinske podatke in vpogled v realnem času in jih hkrati vidite. To Sigma omogoča. Vsi danes imamo serijsko arhitekturo in sliko podjetja. Zanimivi smo v nekakšen sklad z BI in uporabo in dodana je Lambda arhitektura. Ker je hitrostna plast ali potreba in Lambda namenjena združevanju teh dveh vpogledov in gledanju tega na kombiniran način, na bogat način, ki združuje oba vpogleda.

Obstaja še ena paradigma, imenovana arhitektura Kappa, ki je predlagana, če predvidevamo, da je hitrostna plast edini vhodni mehanizem, ki bo dolgotrajen. Vse bo prišlo skozi to hitrostno plast. Mehanizma ETL brez povezave sploh ne bo. Vse ETL se bodo zgodile. Čiščenje, čiščenje podatkov, kakovostni ETL - vse to se bo dogajalo na žici, ker ne pozabite, da so vsi podatki rojeni v realnem času. V nekem trenutku je bil pravi čas. To smo navadili postavljati na jezera, na reke in oceane, nato pa na statične analize, da smo pozabili, da so se podatki rodili v nekem trenutku v realnem času.Vsi podatki so pravzaprav rojeni kot dogodek v realnem času, ki se je zgodil v trenutku in večina podatkov je danes na jezeru pravkar dana v bazo podatkov za kasnejšo analizo in zdaj imamo v Lambda in Kappa arhitekturi prednost v resnici videl, analiziral, predobdelal in reagiral nanj, ko prispe. To omogočajo te tehnologije. Ko na to gledate kot na celotno sliko, je videti nekako tako, kjer je Hadoop znotraj, tam so MPP-ji in skladišča podatkov, ki jih že imate.

To smo predstavili, ker je pomembno, da na otoku ne govorimo samo o novih tehnologijah. Vključiti se morajo. V sedanjem podjetju morajo imeti smisel in kot ponudniki rešitev, ki strežejo podjetjem, smo do tega zelo občutljivi. Podjetjem pomagamo nekako vključiti celotno stvar. Na levi strani so viri podatkov, ki se napajajo tako v plasteh Hadoop kot v skladišču podatkov, kot tudi v realnem času na zgornji strani in vsaka od njih je računalnik z zalogami, kot lahko vidite, in plast porabe podatkov je na desni strani. Nenehno si prizadevamo za premik večine skladnosti, upravljanja, varnosti, upravljanja življenjskega cikla itd., Ki so danes na voljo, vsi so bili zbrani v to novo tehnologijo.

Ena od stvari, ki jo poskuša storiti analitika pretoka, če danes pogledate na pokrajino, se v pokrajini tehnologije pretakanja in z vidika podjetniškega kupca dogaja veliko stvari, ki jih lahko razumemo. Obstaja toliko, da bi lahko sledili. Na levi strani so mehanizmi za zbiranje podatkov - NiFi, Logstash, Flume, Sqoop. Očitno sem dal izjavo, da ni izčrpen. Stopi v čakalne vrste in nato prihaja v odprtokodne pretočne motorje - Storm, Spark Streaming, Samza, Flink, Apex, Heron. Menda še ni verjetno odprta koda. Nisem prepričan, če je, od. Ti pretočni motorji nato vodijo ali podpirajo namestitveno analitično aplikacijsko komponento, kot so kompleksna obdelava dogodkov, strojno učenje, napovedna analitika, opozorilni modul, pretakanje ETL-ja, filtri za statistiko obogatitve. To so vse, čemur pravimo operaterji. Nabor teh operaterjev, če so povezani v niz, bi lahko bil tudi nekaj po meri sklenjenega, če je potrebno, postane aplikacija za pretakanje, ki deluje na pretočnem motorju.

Kot del te verige komponent morate podatke shraniti in indeksirati tudi v svojo najljubšo bazo podatkov, svoj najljubši indeks. Morda boste morali tudi spet razporediti predpomnilnik, ki vodi v plast za vizualizacijo podatkov na desni strani na zgornjem delu do komercialnih izdelkov ali izdelkov z odprtokodno kodo, na koncu pa potrebujete nekakšen izdelek, da te podatke v realnem času vizualizirate. Prav tako morate včasih prikazati druge aplikacije. Vsi smo videli, da bodo vrednosti, pridobljene samo z dejanjem, ki ga izvedete v vpogled, da bo to dejanje sprožilo analitični sklad v drug niz aplikacij, ki se morda spremeni, to je nekaj na strani IVR ali sproži klicni center odhodni klic ali kaj podobnega. Te sisteme moramo imeti integrirane in nekaj mehanizma, da bo vaš grozdni grozd sprožil druge aplikacije, ki vsebujejo podatke navzdol.

To je celoten kup od leve proti desni. Nato imate na voljo storitvene plasti, srednji nadzor, splošni varnostni sloj itd. Prihajate do izdelkov, ki so tam v podjetniškem prostoru, ki jih kupci vidijo, kot so distribucije Hadoop, ki vse pretakajo, kot sem rekel, in obstajajo komercialne ali enotne -vendor rešitve, ki so očitno pri naših tekmecih. V pokrajini jih je še veliko, ki jih tukaj morda nismo omenili.

To, kar tam vidite, na splošno vidi podjetniški uporabnik. Kot vidite, je zapletena in hitro razvijajoča se tehnološka pokrajina za obdelavo tokov. Morali smo poenostaviti izbiro in njihovo uporabniško izkušnjo. Mislimo, da podjetja resnično potrebujejo funkcionalno odvzemanje vsega tega v enostavnem vmesniku, ki je enostaven za uporabo, ki združuje vse te tehnologije, ki omogočajo preprosto uporabo in ne izpostavljajo vseh premikajočih se delov in vprašanja degradacije in uspešnosti ter vprašanja vzdrževanja življenjskega cikla podjetju.

Odvzem funkcionalnosti je eden. Drugi del je odvzem tekočega motorja. Motorji za pretakanje in odprtokodne domene se pojavljajo enkrat na tri, štiri ali šest mesecev. Dolgo je bila nevihta. Prišel je Samza in zdaj je to iskrenje. Flink dviga glavo in začne pridobivati ​​pozornost. Celo časovni načrt Spark Streaming lahko ustvarijo način, da potencialno uporabljajo drugačen motor za čisto obdelavo dogodkov, saj se zavedajo, da je Spark zasnovan tudi za serijo, in v svoji viziji arhitekture in načrtu lahko uvedejo pot do potencialno drugačnih motor za predelavo toka poleg trenutnega vzorca mikrobartov v Spark Streaming.

To je resničnost, s katero se morate spoprijeti, da se bo dogajalo veliko evolucije. Resnično se morate zaščititi pred tem tehnološkim tokom. Kajti privzeto boste morali izbrati enega in nato živeti z njim, kar ni optimalno. Če gledate na drug način, se prepirate med: "v redu, moram kupiti lastniško platformo, kjer ni zaklepanja, ni vzvodov odprtega vira, bi lahko bili zelo visoki stroški in omejeni fleksibilnost v primerjavi z vsemi temi odprtokodnih paketov, kjer morate to storiti sami. "Kot rečeno, spet je to veliko stroškov in zamud pri prodaji. StreamAnalytix je primer odlične platforme, ki združuje podjetniški razred, zanesljiv, en sam prodajalec, podprta strokovna storitev - vse to, kar resnično potrebujete kot podjetje, in moč fleksibilnosti odprtokodnega ekosistema kjer jih združuje ena sama platforma - zaužije, CEP, analitika, vizualizacija in vse to.

Naredi tudi zelo, zelo edinstveno stvar, ki združuje veliko različnih tehnoloških motorjev pod eno samo uporabniško izkušnjo. Resnično mislimo, da je prihodnost v tem, da bomo lahko uporabljali več pretočnih motorjev, ker različni primeri uporabe resnično zahtevajo različne arhitekture pretakanja. Kot je rekel Robin, obstaja celoten spekter zamud. Če resnično govorite o milisekundni latenci, na desetine ali celo na stotine milisekund, v tem trenutku resnično potrebujete vihar, dokler ne pride še en enako zrel izdelek za manj prizanesljivosti ali prizanesljiv časovni okvir in zamude morda v nekaj sekundah, treh, štiri, pet sekund, to območje, potem lahko uporabite iskrivo pretakanje. Potencialno obstajajo drugi motorji, ki bi zmogli oboje. Bottom line, v velikem podjetju, se bodo uporabljali primeri vseh vrst. Resnično želite, da imata dostop in splošnost več motorjev z eno uporabniško izkušnjo in to je tisto, kar poskušamo zgraditi v StreamAnalytixu.

Samo hiter ogled arhitekture. To bomo malo predelali, v bistvu pa na levi strani prihaja več virov podatkov - Kafka, RabbitMQ, Kinesis, ActiveMQ, vsi ti viri podatkov in čakalne vrste, ki prihajajo na platformo za obdelavo tokov, kjer ste pojdite sestaviti aplikacijo, kamor lahko povlečete in spustite operaterje, kot so ETL-ji, vse stvari, o katerih smo govorili. Spodaj je več motorjev. Trenutno imamo Storm in Spark Streaming kot edino panogo in prvo tokovno platformo za podjetniški razred, ki ima več podpor za motorje. To je zelo edinstvena prilagodljivost, ki jo ponujamo poleg vse druge prilagodljivosti nadzornih plošč v realnem času. Vgrajen motor CET. Imamo brezhibno integracijo z indeksi Hadoop in NoSQL, indeksi Solr in Apache. Pristanete lahko v svojo najljubšo bazo podatkov, ne glede na to, kaj je, in zelo hitro gradite aplikacije in se zelo hitro odpravite na trg ter ostanete v prihodnosti. To je naša celotna mantra v StreamAnalytixu.

S tem mislim, da bom svoje pripombe zaključil. Prosto nas obiščite za več vprašanj. Rad bi ohranil besedo odprto za vprašanja, vprašanja in razpravo na plošči.

Rebecca, do vas.

Rebecca Jozwiak: Super, v redu. Najlepša hvala. Dez in Robin, imaš nekaj vprašanj, preden ga bomo predstavili Q&A občinstvu?

Robin Bloor: Imam vprašanje. Nataknil si bom slušalke, da me slišiš. Ena zanimivih stvari, če bi mi lahko prijazno povedali, je veliko tega, kar sem videl v odprtokodnem prostoru, videti tisto, kar bi mi rekli nezrelo. V nekem smislu, da, lahko počnete različne stvari. Videti je, da gledamo programsko opremo v njeni prvi ali drugi izdaji v resnici in pravkar sem se spraševal z vašimi izkušnjami kot organizacije, koliko se vam zdi nezrelost okolja Hadoop problematična ali je to nekaj, kar ne ne bi ustvarili preveč težav?

Anand Venugopal: To je resničnost, Robin. Popolnoma prav imaš. Nezrelost ni nujno na področju samo funkcionalne stabilnosti in stvari, ampak morda so tudi nekateri primeri tega. Toda nezrelost je bolj v pripravljenosti za uporabo. Izdelki z odprto kodo, ko se pojavijo, in čeprav jih ponuja distribucija Hadoop, so vsi številni različni sposobni izdelki, sestavni deli so samo zdrobljeni. Ne delujejo brez težav in niso zasnovani za nemoteno uporabniško izkušnjo, ki je tako kot Bank of America ali Verizon ali AT&T v nekaj tednih nameščena aplikacija za pretočno analitiko. Niso oblikovani za to zagotovo. To je razlog, zakaj prihajamo. Zberemo ga in olajšamo razumevanje, uvajanje itd.

Funkcionalna zrelost le-tega, mislim, da je v veliki meri tam, obstaja. Mnoga velika podjetja danes uporabljajo na primer Storm. Veliko velikih podjetij se danes igra s Spark Streaming. Vsak od teh motorjev ima svoje omejitve v tem, kaj lahko počnejo, zato je pomembno vedeti, kaj zmorete in česa ne morete storiti z vsakim motorjem, in nima smisla, da bi se z glavo lomili ob steno in si rekli: izbrali smo Spark Streaming in zame ne deluje v tej panogi. "Ne bo šlo. Uporabljali se bodo primeri, ko bo iskrivo pretakanje najboljša možnost, uporabljeni pa bodo primeri, ko iskrenje morda za vas sploh ne bo delovalo. Zato resnično potrebujete več možnosti.

Robin Bloor: Za večino tega morate imeti na krovu strokovne ekipe. Mislim, niti ne vem, kje naj se lotim tega. Smiselno sodelovanje usposobljenih posameznikov. Zanima me, kako sodelujete v zaroki in kako se to dogaja. Ali je to zato, ker je določeno podjetje po določeni prijavi ali vidite kakšno, kar bi poimenoval strateško sprejemanje, če želijo, da celotna platforma naredi veliko stvari.

Anand Venugopal: Vidimo primere obeh, Robin. Nekatere izmed desetih najboljših blagovnih znamk, za katere vsi vedo, se o tem ukvarjajo na zelo strateški način. Vedo, da bodo imeli različne primere uporabe, zato ocenjujejo platforme, ki bodo ustrezale potrebam, to je več različnih primerov uporabe na več najemniških načinov, ki jih bodo namenili v podjetje. Začnejo se tudi zgodbe za enkratno uporabo. V hipotekarnem podjetju, ki ga delamo, obstaja poseben primer spremljanja poslovne dejavnosti, ki ga ne bi predstavljali kot primer prve uporabe, vendar je to poslovna rešitev ali primer uporabe, s katerim so nastali, nato pa smo pike povezali s pretakanjem . Rekli smo: »Veste kaj? To je odličen primer za pretakanje analitike in na tak način jo lahko izvajamo. "Tako se je začelo. Nato se v tem procesu izobražujejo in rečejo: "O, vau, če to lahko storimo in če je to generična platforma, potem lahko ločimo aplikacijo, jih plastimo v platformo in na tem zgradimo veliko različnih aplikacij platforma. "

Robin Bloor: Dez, imaš kaj vprašanj?

Anand Venugopal: Dez je najbrž brez zvoka.

Dez Blanchfield: Oprosti, nem. Tudi sam sem imel dober pogovor. Če sledite prvotnemu opazovanju Robina, ste popolnoma pravi. Mislim, da je zdaj izziv, da imajo podjetja ekosistem in kulturno in vedenjsko okolje, kjer je brezplačna in odprtokodna programska oprema nekaj, kar jim je znano, in lahko orodja, kot je Firefox, uporabljajo kot brskalnik in imajo dostojno življenjsko dobo, dokler ne postane stabilna in varna. Toda nekatere od teh zelo velikih platform, ki jih uporabljajo, so lastniške platforme podjetja. Torej sprejetje odprtokodnih platform ni vedno nekaj, kar bi jih lahko kulturno ali čustveno prenesli. To sem videl šele v sprejemanju majhnih programov, ki so bili lokalni projekti, ki se igrajo samo z velikimi podatki in analitiko kot temeljnim konceptom. Mislim, da je eden ključnih izzivov, prepričan sem, da ste jih videli že po organizacijah, njihova želja po izidu, obenem pa imajo eno nogo obtičano v stari konzervi, kamor bi jo lahko kupili le od tega "Vstavite veliko blagovno znamko" Oracle, IBM in Microsoft. Te nove in znane blagovne znamke prihajajo skozi platforme Hadoop in še več. Prihajajo bolj vznemirljive blagovne znamke, ki imajo vrhunsko tehnologijo, kot je stream.

Kakšne vrste pogovorov ste vodili ali prerezali skozi to? Vem, da se danes zjutraj množično udeležujemo in ena stvar, za katero sem prepričan, da si vsi mislijo, je: "Kako prerežem celoten zahteven sloj od deske navzdol do ravni vodenja, oh, njegov preveč odprt vir in preveč krvav rob? "Kako potekajo pogovori s strankami in kako se prerežete do te točke, ko nekako ublažite te vrste strahov, da bi razmislili o sprejemanju všečkov StreamAnalytix?

Anand Venugopal: Pravzaprav se nam zdi precej enostavno prodati ponudbo o vrednosti, saj se kupci seveda premikajo k odprti kodi kot prednostni možnosti. Ni jim enostavno, če samo obupajo in rečejo: "V redu, zdaj grem na odprto kodo." Dejansko gre skozi zelo zavzeto ocenjevanje glavnega izdelka, recimo, da je to IBM ali tipičen izdelek, ker imajo ti odnosi med prodajalci. S tem izdelkom ne bi obravnavali nas ali odprtega sistema. Preučili bodo šest do osem do dvanajst tednov ocenjevanja. Prepričali se bodo, da je tu potrebna stopnja učinkovitosti in stabilnosti, nato pa si premislijo z besedami: "Vau, saj veste, kaj lahko dejansko naredim."

Danes imamo na primer glavno enoto telco, ki ima analitične tokove, ki se izvajajo v proizvodnji, na večjem delu sklada in to ocenjujejo proti drugemu zelo, zelo znanemu prodajalcu in prepričali so se šele, ko smo dokazali vse uspešnost, stabilnost in vse to. Ne jemljejo kot samoumevno. Ugotovili so, da je odprtokodni sistem kompetenten s svojimi ocenami in zavedajo se, da je v najslabšem primeru: "Mogoče obstajata dva primera uporabe, ki jih morda ne morem storiti, vendar je večina primerov uporabe pospeševanja mojih podjetij danes izjemno mogoča z odprtokodno kodo sklad. "In omogočimo njegovo uporabo. Torej, to je velika sladka točka. Želeli so odprto kodo. Resnično si želijo izstopiti iz razmere prodajalca, ki so jo bili vajeni že vrsto let. Potem pa pridemo in rečemo: "Veste kaj, naredili bomo odprtokodno programsko opremo veliko, veliko lažjo in prijaznejšo za vas."

Dez Blanchfield: Mislim, da so drugi izzivi, ki jih podjetja doživljajo, ko vstopijo v tradicionalno sodobno družbo, pogosto generacija za nekaj krvavega roba vznemirljivih stvari, o katerih govorimo tukaj, in tega ne mislim kot negativno. V resnici je, da imajo generacijo in pot, s katero bodo izdali tisto, za kar menijo, da so stabilne platforme, skozi cikle in testiranja ter dokumentacijo ter trženje in prodajo, razvojne cikle in razvoj UATN. Medtem ko v tistem tipu, ki ga počnete, mislim, da je stvar, o kateri me zanima, to, da si ob pregledu nekaterih zadnjih izdaj sinoči, ki opravljajo nekakšno raziskovalno delo, zdaj to kombinacijo najdete tam, kjer imate usposobljenost z vnaprejšnjega svetovalnega vidika in izvedbe, vendar ste dobili tudi sveženj, v katerega se lahko prijavite. Mislim, da se bodo tu morali boriti že nekaj časa. Veliko jih smo videli na trgu. Pogosto so v tem, čemur pravim dohodna vozlišča, medtem ko iz tistega, kar nam govorite, ko vodite te pogovore in tam izvajate.

Ali nam lahko daste nekaj primerov nekaterih mejnih vertikal, ki ste jih videli sprejeti? Na primer, obstaja resnično nišno okolje, kot je raketna znanost in postavljanje satelitov v vesolje ter zbiranje podatkov z Marsa. Na planetu to počne le nekaj ljudi. Vendar obstajajo velike vertikale, na primer zdravje, na področju letalstva, ladijskega prometa in logistike, proizvodnje in inženiringa, nekaj primerov večjih in širših industrijskih sektorjev, ki ste jih doslej videli, da ste videli res dobro posvojitev v?

Anand Venugopal: Telco je velik primer.

Tukaj bom hitro popravil diapozitive. Ali si lahko ogledate diapozitiv tukaj, študija primera 4?

To je primer z velikimi telco, ki zaužijejo set-top box in z njimi počnete več stvari. Gledajo, kaj kupci v resnici počnejo v realnem času. V sprejemnikih gledajo, kje se v realnem času dogajajo napake. Poskušajo obvestiti klicni center vklopljeno, če ta stranka takoj pokliče, informacije o povezavi s kodo s sprejemnika te stranke, informacije o vozovnicah za vzdrževanje hitro korelirajo, ali ima ta določeni kupec sprejemnik težave ali ne še prej stranka govori besedo. Vsako kabelsko podjetje, vsak večji telco to poskuša. Zaužijejo podatke s sprejemnika, analizirajo v realnem času, opravijo analitiko oglaševalskih akcij, tako da lahko oddajo svoje oglase. Obstaja ogromen primer uporabe.

Kot sem že rekel, obstaja hipotekarna družba, ki je spet splošen vzorec, v katerem veliki procesi sodelujejo pri obdelavi podatkov. Podatki, ki tečejo skozi sistem A v sistem B v sistem C in so to regulirana podjetja, ki morajo biti vse dosledna.Pogosto se sistemi med seboj sinhronizirajo, en sistem pravi: "Obdelam sto posojil v skupni vrednosti 10 milijonov dolarjev." Sistem pravi: "Ne, obdelujem 110 posojil nekaterih drugih drugačno število. "To morajo resnično hitro rešiti, ker dejansko obdelujejo iste podatke in delajo različne razlage.

Ne glede na to, ali gre za kreditno kartico, obdelavo posojila, poslovni postopek ali za hipotekarni poslovni postopek ali kaj drugega, jim pomagamo, da v realnem času uskladijo in uskladijo, da ti poslovni procesi ostanejo sinhronizirani. To je še en zanimiv primer uporabe. Obstaja glavni ameriški vladni pogodbenik, ki je na DNS-prometu namenjen odkrivanju anomalij. Izdelali so model za usposabljanje brez povezave in na podlagi tega modela ocenjujejo promet v realnem času. Nekaj ​​teh zanimivih primerov uporabe. Obstaja glavna letalska družba, ki pregleduje varnostne čakalne vrste in poskušajo dati te informacije, da: "Hej, to so vrata vašega letala za vaš let. Današnja čakalna vrsta TSA je približno 45 minut v primerjavi z dvema urama. "To posodobitev dobite vnaprej. Še vedno delajo na tem. Zanimiv primer uporabe IoT, vendar odličen primer pretočne analitike, ki vodi k uporabnikom.

Rebecca Jozwiak: To je Rebeka. Medtem ko se ukvarjate s primeri uporabe, se postavlja vprašanje občinstva, ki se sprašuje: "Ali so to študije primerov, ali se te pobude vodijo z analitične strani informacijskega sistema ali jih bolj vodijo? podjetje, ki ima v mislih posebna vprašanja ali potrebe? "

Anand Venugopal: Mislim, da vidimo približno 60 odstotkov ali približno, od 50 do 55 odstotkov, večinoma zelo proaktivne, navdušene tehnološke pobude, ki se poznajo, ki so dokaj pametne in razumejo določene poslovne zahteve in verjetno imajo enega sponzorja, ki so ga identificirali, vendar ti so tehnološke ekipe, ki se pripravljajo na napad primerov poslovne uporabe, potem pa ko enkrat razvijejo sposobnost, vedo, da lahko to storijo, potem pa se lotijo ​​poslovanja in to agresivno prodajo. V 30 do 40 odstotkih primerov vidimo, da ima podjetje že določen primer uporabe, ki prosi za zmogljivo analitiko.

Rebecca Jozwiak: To ima smisel. Od občinstva imam še eno nekoliko bolj tehnično vprašanje. Zanima ga, ali ti sistemi podpirajo tako strukturirane kot nestrukturirane tokove podatkov, kot sedimenti potokov ali objav v realnem času, ali ga je treba sprva filtrirati?

Anand Venugopal: Izdelki in tehnologije, o katerih govorimo, zelo hitro podpirajo strukturirane in nestrukturirane podatke. Konfigurirajo se lahko. Vsi podatki imajo neko strukturo, ne glede na to, ali gre za XML ali kaj drugega. Glede na to, da obstaja časovni žig, obstaja nekaj strukture. Mogoče je še en blob, ki ga je treba razčleniti, da lahko v tok vstavite razčlenitve, da razčlenite strukture podatkov. Če je strukturiran, potem sistemu preprosto povemo: "V redu, če obstajajo vrednosti, ločene z vejicami, in prva je niz, druga je datum." Torej lahko to inteligenco razčlenimo v zgornje plasti zaslona in brez težav obdelamo tako strukturirane kot nestrukturirane podatke.

Rebecca Jozwiak: Imam še eno vprašanje občinstva. Vem, da smo malo končali mimo vrha ure. Ta udeleženec želi vedeti, zdi se, da se morda v realnem času pretočne aplikacije razvijajo tako kot potreba kot priložnost za vključitev nazaj v transakcijske sisteme, na primer sisteme za preprečevanje goljufij. Ali je treba v tem primeru prilagoditi transakcijske sisteme, da se nekako ujemajo s tem?

Anand Venugopal: To je združitev, kajne? Gre za združitev transakcijskih sistemov. Včasih postanejo vir podatkov, kjer analiziramo transakcije v realnem času in v mnogih primerih, ko recimo, da obstaja pretok aplikacij in tukaj poskušam prikazati statično spletno mesto za iskanje podatkov in nato v našem primeru, kjer nekakšno pretakanje in iščete statično bazo podatkov, kot je HBase ali RDBMS, da bi obogatili pretočne podatke in statične podatke skupaj, da bi sprejeli odločitev ali analitični vpogled.

Obstaja še en velik industrijski trend, ki ga prav tako opažamo - konvergenca OLAP in OLTP - in zato imate baze podatkov kot sta Kudu in zbirke podatkov v pomnilniku, ki podpirajo transakcije in analitično obdelavo hkrati. Plast obdelave tokov bi bil v celoti v spominu in si bomo ogledali ali povezali nekatere od teh transakcijskih baz podatkov.

Rebecca Jozwiak: Mešana delovna obremenitev je bila ena zadnjih ovir za skok. Dez, Robin, imata še dva vprašanja?

Dez Blanchfield: Skočil bom na zadnje vprašanje in zaključil, če nimate nič proti. Prvi izziv, s katerim se organizacije, s katerimi se ukvarjam zadnje desetletje ali tako, vodijo v ta vznemirljiv izziv pretočne analitike, je prva stvar, ki jo ponavadi postavijo na mizo, ko smo začeli pogovor o tem celotnem izzivu, je to, kje dobimo nabor spretnosti? Kako izpopolnimo nabor spretnosti in kako to sposobnost pridobimo interno? Če se zapeljemo in nas prevzame spodbuda skozi pot in nato izvedite kot odličen prvi korak, je to zelo smiselno.

Toda za srednje do velike organizacije, kakšne stvari vidite v tem trenutku, da se pripravite na to, da zgradite to sposobnost znotraj, da dobite karkoli iz le osnovnega besedišča okoli njega in kaj lahko počnejo s tem Organizacija okoli prehoda na tovrstno ogrodje in preoblikovanje njihovega obstoječega tehničnega osebja od IT-ja od generalnega direktorja, da lahko to sami izvajajo, ko ga zgradite in izvedete? Na kratko, kakšne izzive in kako jih rešujejo, stranke, s katerimi se spopadate, vrste izzivov, ki so jih našli, in kako se lotijo ​​reševanja te preusposabljanja in pridobivanja izkušenj in znanja, da se na to pripravijo in lahko operativno obidete?

Anand Venugopal: Pogosto je majhen nabor ljudi, ki se trudijo iti ven in kupiti platformo za pretočno analitično analizo, že razumno pameten, saj se zavedajo Hadoopa, že so pridobili svoje veščine Hadoop MapReduce in ker tesno sodelujejo s prodajalcem distribucije Hadoop, sta ali poznana. Vse dobi na primer Kafka. Nekaj ​​delajo s tem in bodisi Storm ali Spark sta v svoji odprtokodni domeni. Definitivno ga ljudje poznajo ali gradijo veščine okoli njega. A začne se z majhnim naborom ljudi, ki so dovolj usposobljeni in dovolj pametni. Obiskujejo konference. Učijo in prodajalcem postavljajo inteligentna vprašanja, v nekaterih primerih pa se učijo tudi pri prodajalcih. Ko prodajalci prihajajo in se predstavljajo na prvem sestanku, morda ne bodo vedeli stvari, vendar jih preberejo in nato začnejo igrati z njo.

Ta majhna skupina ljudi je jedro in potem začne rasti in vsi zdaj spoznajo, da se prvi primeri poslovne uporabe operacionalizirajo. Začne se val in prejšnji teden smo videli na vrhu Spark, kjer je bilo veliko podjetje, kot je Capital One, zunaj in v polni moči. Odločili so se za Spark. Govorili so o tem. V Sparku izobražujejo veliko svojih ljudi, saj k temu veliko prispevajo tudi kot uporabniki. Enako vidimo pri številnih, veliko velikih podjetjih. Začne se z nekaj majhnimi množicami zelo pametnih ljudi, nato pa se začne val splošne izobrazbe in ljudje vedo, da se enkrat višji podpredsednik ali enkrat višji direktor uskladi in želijo staviti na to stvar in beseda se naokoli oz. vsi začnejo nabirati te veščine.

Dez Blanchfield: Prepričan sem, da tudi te prvake fantastično preživiš.

Anand Venugopal: Da. Veliko delamo z izobraževanjem, ko sodelujemo z začetnimi prvaki in imamo izobraževalne tečaje in veliko, veliko za naše velike stranke smo se vrnili nazaj in imeli valove in valove treninga, da bi veliko uporabnikov pripeljali v fazo običajne uporabe, še posebej na spletnem mestu Hadoop MapReduce. Ugotovili smo, da smo v velikem podjetju za kreditne kartice, ki je naš kupec, dobavili vsaj morda pet do osem različnih programov usposabljanja. Imamo tudi brezplačne izdaje skupnosti vseh teh izdelkov, vključno z našimi, peskovniki, ki jih lahko ljudje naložijo, se navadijo in se tako tudi izobrazijo.

Dez Blanchfield: To je vse, kar imam danes zjutraj zate. Najlepša hvala. Neverjetno zanimivo se mi zdi vrste modelov in uporabe primerov, ki jih imate danes za nas. Hvala vam.

Anand Venugopal: Super. Najlepša hvala ljudem.

Rebecca Jozwiak: Hvala vsem, ker ste se nam pridružili v teh oddajah Hot Technologies. Bilo je fascinantno slišati od Deza Blanchfielda, dr. Robina Bloorja in Ananda Venugopala iz Impetus Technologies. Hvala predstaviteljem. Hvala govorcem in hvala občinstvu. Naslednji mesec imamo še eno novo tehnologijo, zato poiščite to. Našo vsebino lahko vedno najdete v arhivu na spletnem mestu Insideanalysis.com. Veliko vsebine objavimo tudi na SlideShare in nekaj zanimivih bitov tudi na YouTubu.

To so vsi ljudje Še enkrat hvala in lep dan. Adijo.