Odkrivanje kraje podatkov z uporabo Hadoopa in velikih podatkov

Avtor: Roger Morrison
Datum Ustvarjanja: 20 September 2021
Datum Posodobitve: 1 Julij. 2024
Anonim
Leap Motion SDK
Video.: Leap Motion SDK

Vsebina


Vir: Ximagination / Dreamstime.com

Odvzem:

Združene moči velikih podatkov in Hadoop se združujejo, da prepoznajo krajo podatkov - in jo ustavijo.

Dandanes se je tveganje kraje podatkov zaradi izpostavljenosti podatkov v podjetjih in vladnih agencijah močno povečalo, vsak dan se ugotavljajo novi primeri. Tovrstna kraja podatkov je lahko velik udarec za organizacije, saj razkrijejo zaupne podatke in povzročijo izgubo velikih vsot denarja. Podatkov ni mogoče zavarovati tako enostavno in celo številne napredne tehnike ne uspejo na terenu. Najbolj zastrašujoče pri teh tatvinah je, da jih je izjemno težko zaznati. Včasih lahko traja več mesecev ali celo let, da jih odkrijemo. Zato morajo organizacije sprejeti močne ukrepe, ki bodo zagotovili, da bodo njihovi podatki vedno varni. Ena izmed takšnih metod je uporaba kombinacije Hadoop in velikih podatkov za odkrivanje goljufivih spletnih mest za kazniva dejanja in za opozarjanje tudi drugih organizacij.


Zakaj moramo varovati podatke?

Kot smo že omenili, vsak dan poročajo o novih krajih podatkov. Do te vrste kraje podatkov lahko pride v katerem koli podjetju, naj bo to vladna organizacija, podjetje ali celo spletno mesto za zmenke. Ocenjujejo, da samo kraja podatkov lahko povzroči izgubo znatnega kapitala. Koliko lahko vprašate? Približno 455 milijard dolarjev letno!

Čeprav se sedanji varnostni sistemi, ki jih podjetja uporabljajo, lahko borijo proti nekaterim preprostim tehnikam kraje podatkov, vendar še vedno ne morejo preprečiti kompleksnejših poskusov ali groženj znotraj organizacij. Če k tem primerom vzamemo toliko časa, da kriminalisti zlahka manipulirajo z vrzeli varnostnih sistemov.

Kako se zoperstaviti tem grožnjam

Ko se število in zapletenost tovrstnih tatvin podatkov povečuje, hekerji iščejo nove tehnike za manipulacijo z varnostnimi sistemi. Organizacije, ki hranijo pomembne zaupne podatke, morajo torej spremeniti svojo trenutno varnostno arhitekturo, ki se lahko odzove le na preprostejše grožnje. Za preprečevanje tovrstnih tatvin je lahko koristna le praktična rešitev. Podjetje mora biti pripravljeno na kakršno koli tatvino, za katero bo treba načrtovati vnaprej. To jim bo omogočilo, da se hitro odzovejo na takšno situacijo in jo rešijo.


Številna podjetja so prevzela pobudo, da bi ponudila rešitve, ki bodo drugim podjetjem omogočile zaščito svojih podatkov pred tatovi. Primer takega podjetja je Terbium Labs, ki uporablja novo metodo uporabe velikih podatkov in Hadoop za učinkovito odkrivanje in odzivanje na takšne grožnje.

Kako lahko nova tehnika Terbiuma pomaga pri varovanju podatkov?

Tehnika, ki jo Terbium uporablja za pomoč podjetjem, da se hitro odzovejo na grožnje, se imenuje Matchlight. Ta zmogljiva tehnologija se lahko uporablja za skeniranje spleta, vključno z njegovimi skritimi deli, za iskanje kakršnih koli zaupnih podatkov. Če najde takšne podatke, jih bo takoj sporočil uporabniku. Tudi ta aplikacija je zelo natančna. Pravzaprav ustvarja edinstvene podpise zaupnih podatkov podjetja, imenovanih "prsti". Ko ustvari edinstvene podpise zaupnih podatkov podjetja, aplikacija natančno ujema podatke s "prsti" podatkov, ki jih najde v spletu. Tako lahko to aplikacijo velikih podatkov uporabimo za učinkovito prepoznavanje primerov kraje podatkov z iskanjem dokazov po spletu. Če se podatki najdejo na drugih mestih razen pooblaščenih, na primer na internetu, temnem spletu ali na spletnem mestu konkurenčnega podjetja, bo matično podjetje takoj obvestilo o ukradenih podatkih in o njegovi lokaciji.

“Fingering” tehnologija

Matchlight vključuje posebno tehnologijo, imenovano fingering, s katero lahko brez velikih težav ujema velike količine podatkov. V aplikaciji najprej najdejo prste zaupnih podatkov. Po tem se shrani v svojo bazo podatkov in se redno primerja s prstnimi podatki, zbranimi po internetu. Ti podatki se zdaj lahko uporabljajo za odkrivanje izpostavljenosti podatkov v spletu. Če najdete ustrezen podpis podatkov, bo samodejno opozoril podjetje stranko, ki lahko nemudoma izvede načrtovane varnostne ukrepe.

Katere vrste podatkov zajemajo?

Matchlight lahko najde vse vrste podatkov. To lahko vključuje slikovne datoteke, dokumente, aplikacije in celo kode. Rešitev je tako močna, da lahko naenkrat obdela celotne, zelo zapletene naloge podatkov. Zaradi tega številna podjetja uporabljajo Matchlight za varnost podatkov, trenutna baza podatkov Terbiuma pa vsebuje več kot 340 milijard prstov, ki se vsak dan povečuje.

Brez napak, brez stresa - vaš korak za korakom vodnik za ustvarjanje programske opreme, ki spreminja življenje, ne da bi vam uničila življenje

Ne morete izboljšati svojih programskih sposobnosti, če nikogar ne skrbi za kakovost programske opreme.

Kako pomaga Hadoop?

Za učinkovito obvladovanje velike količine podatkov v bazi podatkov je Terbium potreboval močno platformo za veliko obdelavo podatkov. Za to so izbrali Hadoop. Vendar pa so potrebovali hitro in učinkovito različico Hadoopa, ki bi jo lahko uporabili za učinkovito obdelavo velikih podatkov. Zato so mislili, da bi bila distribucija Hadoop za podjetja, ki delujejo v matični kodi, najprimernejša možnost. Niso izbrali različice JVM, saj je distribucija močno oteževala vire.

Soustanovitelj podjetja Terbium, gospod Danny Rogers, je opozoril na pomen Hadoopa. Dejal je, da je učinkovitost Matchlight odvisna od učinkovitosti zbiranja podatkov, ki je odvisna od Hadoopa. To kaže na pomen družbe Hadoop pri zagotavljanju varnosti podatkov v organizacijah.

Možnosti Hadoopa na področju varnosti podatkov

Terbium hitro pridobiva na priljubljenosti in že nekaj velikih Fortune 500 podjetij je začelo uporabljati storitev Matchlight za sledenje ukradenih podatkov. Ta podjetja vključujejo zdravstvena podjetja, ponudnike tehnologije, banke in druge takšne ponudnike finančnih storitev. Tudi rezultati so osupljivi. Podjetja so predelala približno 30.000 zapisov o kreditnih karticah in 6000 novih naslovov, ki so jih napadalci ukradli, in vse to v prvih nekaj sekundah prvega dne. Te so bile očitno naprodaj na Temnem spletu.

Prednosti uporabe Hadoopa za odkrivanje ukradenih podatkov

Tako močna integracija med strojnim učenjem, bazami podatkov v oblaku in visoko zanesljivo in natančno različico Hadoop v podjetju lahko koristi podjetjem na veliko načinov. Te zbirke podatkov v oblaku bodo lahko zbrale veliko količino podatkov, ki jih bo aplikacija s pomočjo Hadoopa uporabila za podpisovanje podpisov po internetu v nekaj sekundah. Tako bo Hadoop lahko močno povečal hitrost celotnega iskanja. Zaradi tega bodo podjetja lahko našla ukradene podatke v zelo kratkem času, to je nekaj sekund, namesto trenutnega povprečnega potrebnega časa iskanja, ki znaša 200 dni.

Zakaj samo distribucija MapR?

Matchlight uporablja samo distribucijo MapR za Hadoop. To je posledica različnih razlogov. Prvi razlog je, da različna različica Hadoopa, ki deluje v podjetju, deluje na izvorni kodi, zato učinkovito brez težav uporablja vsak vir. Za shranjevanje porabi tudi zelo malo stroškov, če upoštevamo, da temelji na oblaku. Poleg tega je zelo hiter, zato lahko enostavno pomaga pri upravljanju velikega števila podatkovnih prstov. Ponuja številne dodatne poslovne lastnosti, kot so najsodobnejša varnost, visoka zanesljivost in enostavno varnostno kopiranje in obnovitev.

Zaključek

Hadoop se izkaže za izjemno uporabnega na področju varnosti podatkov v organizacijah. Mnoga podjetja uporabljajo MapR za učinkovito upravljanje podatkov in načrtujejo izvedbo v primeru kraje podatkov.Pojavlja se tudi veliko novih podjetij, ki obljubljajo, da bodo podatke teh organizacij zavarovale in celo kraje podatkov prepoznale v nekaj sekundah namesto mesecih.