Vsebina
- Brez napak, brez stresa - vaš korak za korakom vodnik za ustvarjanje programske opreme, ki spreminja življenje, ne da bi vam uničila življenje
- Dol do posla
- Kako bo Kafka spremenila upravljanje podatkov
Odvzem:
Kafka bo za informacijske sisteme storila tisto, kar LinkedIn počne za poslovneže: naj bodo povezani v širokem razponu.
Če strastno verjamemo v nekaj, kar še vedno ne obstaja, ga ustvarjamo. Neobstoječe je tisto, česar si nismo dovolj želeli.~ Franz Kafka
Nujnost ostaja mati izuma. Kot mi je nekoč svetovalni svetovalec rekel: "Če se v organizaciji nekaj zgodi, se to zgodi." Njegova poanta je bila dvojna: 1) nekateri bodo vedno našli način, kako uresničiti stvari; in 2. višje vodstvo ali celo srednji vodstvo se morda ne zavedata, kako stvari potekajo znotraj njihove lastne ustanove.
Če to metaforo razširimo na celotno vesolje upravljanja podatkov, lahko vidimo, da se transformacija trenutno izvaja. Surovi pritisk velikih podatkov v kombinaciji z osjo pretakanja podatkov ustvarja toliko pritiska, da se zapuščeni sistemi lomijo na robovih, če ne celotno propadajo. Kljub temu nešteto strokovnjakov ta trenutek opravlja svoja dela, ki se te resničnosti večinoma ne zavedajo.
Podjetja, ki temeljijo na podatkih, imajo sedež v prvi vrsti in v marsičem vodijo to spremembo. Razmislite, kako so elektrarne, kot sta Yahoo! In LinkedIn, s programsko donacijo odprtih virov: Hadoop, Cassandra in zdaj Kafka, obrnile poslovno programsko industrijo na stranski način, vse pa je prevzela fundacija Apache, ki je osrednji igralec te metamorhfoze .
Kaj je rezultat vse te spremembe? Danes smo bili priča kategorični prerazvrstitvi in prestrukturiranju samega upravljanja podatkov. To ne pomeni, da bodo zapuščeni sistemi zdaj iztrgani in zamenjani. Vsak veteran v industriji vam bo povedal, da se razprodaja zapuščenih sistemov na debelo zgodi približno tolikokrat, ko Chicago Cubs zmaga v World Series. To je vsaj redek dogodek.
Kaj se v resnici dogaja je, da se okoli starih sistemov gradi super struktura. Razmislimo o analogiji meddržavnih avtocest, ki se pogosto dvigajo nad mesti in mesti, ki jim služijo, zasnovane za dostavo ljudi in tovora v ta populacijska središča ter zagotavljajo izstopanje vsem in vsemu znotraj njih. Obstoječih cest ne zamenjajo toliko, kot jih dopolnijo z alternativami za visoke hitrosti.
To je točno tisto, kar počne Apache Kafka: zagotavlja hitre poti za pretok podatkov med in med informacijskimi sistemi. Za sledenje analogiji avtocest še vedno obstaja veliko podjetij, ki uporabljajo linearne čakalne vrste ali stari standard ETL (ekstrakt-pretvorba-obremenitev); vendar imajo te poti majhne omejitve hitrosti in veliko je lukenj; poleg tega so stroški vzdrževanja pogosto pretirani; signalizacije so slabe.
Kafka ponuja alternativno metodo za pošiljanje podatkov, ki je odločno v realnem času, razširljiva in trajna. To pomeni, da Kafka ni samo vozilo za pretok podatkov, temveč tudi razmnoževalec podatkov; in do neke mere tehnologija porazdeljene baze podatkov. Pozorni moramo biti na to, da bi analogijo odnesli predaleč, saj obstajajo značilnosti baz podatkov, ki so skladne z ACID, ki jih Kafka še ne opravlja. Kljub temu je sprememba resnična.
To je odlična novica za informacijsko pokrajino, saj se podatki zdaj lahko prosto gibljejo po državi - in svetu. Kar je bila nekoč boleča ovira, in sicer udarjanje v okna šarž za ETL procese, se zdaj močno širi, saj megla daje pot jasnemu nebu pod bleščanjem vročega sonca. Ko prehajanje podatkov iz enega sistema v drugega postane mejno brezhibno, prihaja doba novih priložnosti.
Brez napak, brez stresa - vaš korak za korakom vodnik za ustvarjanje programske opreme, ki spreminja življenje, ne da bi vam uničila življenje
Ne morete izboljšati svojih programskih sposobnosti, če nikogar ne skrbi za kakovost programske opreme.
Človeška bitja bodo verjetno predstavljala največ trenja na poti do novih prihodnosti. Stare navade težko umrejo. Nary CIO je preveč navdušen nad spremembami veleprodajnih sistemov v podjetjih. Rekel je eden od pametnih vodilnih vlog: "Pripravite se na osamljenost." V enem letu od tega komentarja je bil svetovalec. To ni lahka pot, saj poskušate upravljati izjemno neprijeten svet poslovnih podatkov.
Dobra novica je, da Kafka zagotavlja prihodnost v prihodnosti. Ker deluje kot večnamenski avtobus z visoko zmogljivostjo, ustvarja mostove med zapuščenimi sistemi in njihovimi usmerjenimi podjetji. Tako bodo organizacije, ki sprejmejo to novo priložnost z odprtim umom in zadostnim proračunom, lahko stopile v nov svet, ne da bi za seboj pustile stare. To je resnično veliko.
Dol do posla
Medtem ko je Apache Kafka odprtokodna tehnologija, ki jo lahko brezplačno prenesejo in uporabljajo vsi, so ljudje, ki so ustvarili to programsko opremo za LinkedIn, ločili celotno entiteto, imenovano Confluent, ki se osredotoča na utrjevanje ponudbe za uporabo v podjetju. Tako kot Cloudera, Hortonworks in MapR so svoja podjetja gradili okoli odprtokodnega projekta Apache Hadoop, zato si Confluent prizadeva za unovčenje Kafke.
V nedavnem intervjuju za InsideAnalysis je direktor podjetja Confluent in soustanovitelj Jay Kreps pojasnil svoj izvor na LinkedIn:
"Tam smo poskušali rešiti nekaj različnih težav. Ena je bila, imeli smo vse te različne podatkovne sisteme z različnimi vrstami podatkov. Imeli smo baze podatkov in dnevniške datoteke ter meritve o strežnikih in uporabniki so stvari kliknili. Zbiranje vseh teh podatkov - ko so postali veliki - je bilo res težko. Moč podatkov je bila tam le, če jih lahko dobiš do aplikacij ali obdelave ali sistemov, ki jih potrebujejo. To je bil velik problem.
"Druga težava je bila, da smo sprejeli Hadoop, in to je bilo nekaj, v kar sem bil vključen. Imeli smo to fantastično platformo za obdelavo brez povezave, ki smo jo lahko spreminjali in lahko vključili vse svoje podatke. Za LinkedIn so se vsi naši podatki zgodili resnično čas. Nenehno ustvarjanje podatkov. Vedno je prihajalo do tega neskladja, ko smo poskušali dejansko sestaviti ključne dele poslovanja iz svojih podatkov, med nekaj, kar je potekalo enkrat na dan, morda ponoči, in prineslo rezultate do naslednjega dne, in to vrsto nenehnih podatkov - kratki časi medsebojnih odnosov -, ki ste jih morali dojeti. Želeli smo narediti nekaj, kar je bilo nekaj časa v akademiji, toda v resnici ni bila glavna stvar, ki bi lahko bila dotaknite se in obdelajte tokove podatkov, ko so bili ustvarjeni, in ne tako, kot so sedeli. "
No. To je točno tisto, kar zdaj želi Confluent s podjetniškimi podatki vseh oblik in velikosti. Priložnost v igri? Greenfield Iskreno, v celotni zgodovini podjetniške programske opreme bi lahko trdili, da je naslovljiv trg te tehnologije popolnoma primeren. Obstaja niti ena velika organizacija ali celo majhna majhna podjetja, ki od te tehnologije ne bi imela velike koristi.
To še posebej velja zaradi nevrološkega vidika te tehnologije; ne samo vpleteni možgani, ampak narava tega, kar Kafka počne za informacijske sisteme. Ker se Kafka lahko uporablja za upravljanje gibanja podatkov po celotni organizaciji, je to mogoče razumeti kot več kot le prometni policaj, ampak bolj kot možgani samega delovanja. Bila je v zgodnjih fazah te vizije, vendar bodite prepričani, da je resnična.
Kako bo Kafka spremenila upravljanje podatkov
Če želite razumeti, kako bo Kafka spremenila naravo upravljanja podatkov, samo pomislite na načine, kako je LinkedIn spremenil mreženje. Iskanje kolegov je postalo toliko lažje; ohraniti stik z ljudmi je zdaj poskok. Kafka bo za informacijske sisteme storila tisto, kar LinkedIn počne za poslovneže: ohranjajte jih povezane na najširšem območju sveta.
Spinoff Confluent je simbol nečesa, čemur lahko rečemo Nova inovacija, gibanje, ki ga poganja ločitev programske opreme in mentaliteta zaprtega izvora, ki jo vodijo ustvarjalci odprtokodne tehnologije, ki jo spodbujajo velike količine tveganega kapitala, ki jih zaslužijo za profitna podjetja, ki si prizadevajo za revolucijo, kako organizacije in ljudje ustvarjajo, zbirajo, analizirajo in uporabljajo podatke.
Če citiram Franca Kafka, "Od določene točke naprej ni več vrtenja nazaj. To je točka, ki jo je treba doseči."
Prešli smo Rubicon. Zdaj se ni nazaj.