Kaj so veliki podatki?

Kako

AvtorRyan Dube

Nazadnje posodobljeno dne26. marec 2020

Z leti je veliko buzzword postalo v modi v številnih panogah. Malo je takih, ki so postali tako priljubljeni in tako dolgo kot veliki podatki. Toda kaj točno so veliki podatki?

Veliki podatki se nanašajo na virtualni ocean informacij iz različnih virov, ki jih analizirajo in filtrirajo tako, da se razvijejo smiselni in dejanski rezultati.

Proces pretvorbe velikih podatkov v pomembne rezultate se lahko zdi zapleten in težaven. Vendar, ko razumete, kaj so veliki podatki in kako delujejo, se razumevanje, kako je smiselno, ne zdi tako zapleteno.

Kaj so veliki podatki?

Ko slišite ljudi, da govorijo o "velikih podatkih", je običajno z veliko mahanja z rokami in velikimi besedami. Ko pa spustiš vse hiperbole, so dejanski "podatki" dejansko številni več vhodnih podatkov.

Da bi to razumeli, vam lahko pomaga primer. Recimo, da vodite podjetje za proizvodnjo krovnih izdelkov. Vaš marketinški oddelek išče način, kako bolje predvideti, kdaj se bo povpraševanje na trgu povečalo.

Pred dnevi velikih podatkov so tržniki preučili tržne trende, pošiljali ankete o kupcih in številne druge dejavnosti.

Zbrali bi vse te podatke in jih shranili v interne baze podatkov svojega podjetja. Nekdo je lahko celo zadolžen za posodabljanje podatkov trženjskih raziskav na letni ali četrtletni osnovi.

Vendar pa pojav velikih podatkov širi zmožnost izvedbe tovrstnih raziskav. Zlasti veliki podatki so še posebej učinkoviti pri prepoznavanju pomembnih trendov ali dogodkov v skoraj realnem času.

Vnosi podatkov za tovrstno analizo "velikih podatkov" lahko vključujejo tokove podatkov v realnem času, tako da napišejo kodo, ki se vključi v Vmesnik za programiranje aplikacij (API) različnih podjetij, ki so te podatke objavile javno:

• Twitter in Facebook: Ugotovite, kdaj in zakaj se ljudje pogovarjajo o nakupu dežnikov.
• Vreme: Prepoznavanje vremenske razmere ali napovedi, ki bi se lahko spremenile v večjo prodajo krovnikov.
• Borza: Sezonske spremembe stroškov surovin za izdelavo dežnikov.
• Uporabniška spletna uporaba: Uporaba informacij iz računalniški piškotki ljudi, ki obiščejo katalog podjetja, da bi razumeli vedenje o nakupu.
• Zgodovina nakupov strank: Sledenje zemljepisu in letnim časom trendov prodaje prodajalcev.

Za uporabo velikih podatkov bi moral marketinški tim tega podjetja v nekaterih primerih namestiti nove tehnologije.

Big Data in internet

To lahko vključuje tehnologijo Internet of Things (IoT) pri prodajalcih, ki spremlja in vede o vedenju potrošnikov. Lahko pa programer napiše kodo, potrebno za vmesnik s Twitterjevim API-jem, da odstrani tvite, ki omenjajo "dežnike" ali ime podjetja.

Vsaka od teh tehnologij je zdaj na voljo zahvaljujoč internetu. Internet omogoča vsem, da se vključijo v tokove podatkov po vsem svetu.

Tukaj je opisano, kako lahko v tem primeru deluje namestitev v našem lastnem primeru.

Ta diagram prikazuje, kako se podatki pretakajo v "podatkovno jezero" podjetja iz različnih virov. Prihajajoči podatki so lahko strukturirani drugače, vendar je pomembno, da se zbere čim več podatkov iz vseh virov.

Kaj je podatkovno jezero?

Za razliko od baze podatkov, ki vsebuje strukturirane podatke, organizirane v določene stolpce in vrstice, je podatkovno jezero množično skladišče za številne različne oblike podatkov.

Shranjeni podatki so lahko strukturirani ali nestrukturirani. Kar pomeni, da ima lahko strukturirane vrstice in stolpce ali pa ne. Podatki so lahko nizi, ki za ločevanje podatkov uporabljajo določeno oblikovanje. Vsak vir podatkov lahko podatke pošlje v podatkovno jezero v kakršni koli obliki.

Slikajte podatkovno jezero kot ogromno knjižnico, ki vsebuje številne oblike medijev, kot so knjige, slike v mikrofifi in video na DVD-jih.

Predstavljajte si inženirja digitalne inteligence in analitike podatkov kot pokrovitelja te knjižnice. Ti meceni lahko digitalno izvlečejo podatke iz knjig, mikrofifije in DVD-jev in najdejo načine za mešanje in združevanje teh podatkov in spoznavanje stvari, kako se podatki ujemajo.

Iz teh spoznanj izhaja dejanska, uporabna inteligenca. Nekateri izmed teh primerov lahko vključujejo:

• Klepetanje na Twitterju in Facebooku nakazuje na bližajočo se nevihto v New Yorku, na tisoče kupcev pa načrtuje nakup senčnikov.
• Podatki o nakupu računalniških piškotkov in stroji za prodajo blagajn na drobno kažejo, da so kupci v Kaliforniji pripravljeni plačati več za oblikovalske dežnike, kot ljudje v Virginiji.
• Obsežen nevihtni vzorec kaže, da bo večino Vzhodne obale cel teden pokrito z nevihto.

Vsa ta spoznanja bi lahko marketinško ekipo spodbudila k naložbam v več oglaševanja, če je povpraševanje po krovni prodaji veliko večje. Proizvodne dejavnosti bi lahko svoje proizvodne napore preusmerile tudi na tista področja sveta, bližje tistim, kjer je verjetno večja prodaja.

Na ta način lahko vsako podjetje z uporabo velikih podatkov racionalizira svoje trženje in poslovanje.

Kaj je Hadoop?

Naslednje vprašanje je, kako podjetja obdelujejo tako velike količine podatkov in ugotavljajo trende?

Tovrstno krčenje podatkov zahteva ogromno računalniških virov. Tako zelo, da podjetja ne uporabljajo več velikih računalnikov v glavni glavi, kot so prej. Mnoge od teh storitev zdaj kupujejo iz oblaka. Obveščevalne storitve v oblaku, kot je Apache Hadoop, ponujajo veliko računalniških vozlišč v velikem oblačnem omrežju. Vsako od teh vozlišč prispeva k zmogljivosti obdelave, ki je potrebna za analizo ogromnih tokov podatkov iz več virov.

Tovrstna procesorska moč je srce strojne ali digitalne inteligence in analitike podatkov. Hadoop je programski okvir, ki omogoča celotno mrežo množičnega računalniškega dela, kot je potrebno za inženirje digitalne inteligence.

Ko računalniški motor ustvari uporabno inteligenco, jih podjetje običajno dostavi v obliki nadzornih plošč ali poročil.

Veliki podatki niso samo buzzwords

Resnica je, da so "veliki podatki" več kot le korporacijski lingo. Mnoga podjetja se učijo, da lahko z boljšo uporabo podatkov dosežejo številne dosežke.

• Proizvajalci lahko izboljšajo kritične proizvodne meritve, kot so donos, kakovost in učinkovitost.
• Trgovci na drobno lahko na podlagi signalov na trgu bolje uskladijo trženje, oglaševanje in poslovne naložbe.
• Distributerji so sposobni predvideti morebitne težave v dobavni verigi, da bi predhodno razvili načrte ukrepov ob nepredvidljivih dogodkih.
• Časopisne organizacije lahko hitro ugotovijo pomembne dogodke z analizo javnih signalov na internetu.
• Strokovnjaki za kibernetsko varnost uporabljajte signale po internetu za prepoznavanje kibernetskih napadov, medtem ko potekajo.

Medtem ko je velik del tistega, kar so veliki podatki dosegli v zadnjih letih, javnosti skorajda neviden, pa so veliki podatki dejansko močno vplivali na vsakdanje življenje ljudi po vsem svetu.