Evoluția datelor mari

La începutul anilor 2000, era clar că era nevoie de inovație în ceea ce privește datele. Limitări ale ceea ce firmele ar putea face cu datele lor, directori frustrați și eficiență scăzută. Multe companii au stocat cantități masive de informații, dar au fost pur și simplu incapabile să o gestioneze, să o analizeze sau să o manipuleze în avantajul lor. Această presiune din ce în ce mai mare a fost cea care a dat drumul frontierei de date mari.

În 2003, Google a creat MapReduce, o aplicație de date care a permis firmei să proceseze și să analizeze informațiile despre întrebările sale de căutare pe mii de servere într-un interval scurt de timp. Atât scalabil cât și adaptabil, programul a permis Google să efectueze mii de sarcini de date în doar câteva minute, ceea ce a îmbunătățit productivitatea și a redefinit limitele percepute despre ceea ce se putea face cu datele. Aproape 10 ani mai târziu, datele mari au devenit un element central al tehnologiei informației. Sarcina și abilitatea sa de amploare a schimbat fundamental gestionarea datelor la locul de muncă. Dar ce a determinat această evoluție și cum va avea impactul asupra datelor mari asupra viitorului? Am crezut că nu veți întreba niciodată. (Pentru câteva lecturi de fundal cu date mari, consultați Date mari: modul în care este capturat, zdrobit și folosit pentru a lua decizii de afaceri.)

Căutarea de răspunsuri la întrebări de date mari

Frumusețea MapReduce a fost modul în care a simplificat sarcinile extrem de complexe. Comunicarea ar putea fi gestionată pe mașini, eșecurile sistemului ar putea fi rezolvate și datele de intrare ar putea fi organizate automat, un proces care ar putea fi supravegheat de persoane care nu mai au nevoie de abilități extrem de tehnice. Făcând procesarea datelor nu numai posibilă, ci și abordabilă, Google a inspirat o schimbare culturală în gestionarea datelor. Nu a trecut mult timp până când mii de firme majore foloseau MapReduce pentru datele lor.

Dar a existat o problemă: MapReduce a fost pur și simplu un model de programare. Deși a facilitat elementele de bază ale procesării datelor, nu a fost el însuși răspunsul la deficiențele existente; a fost doar un pas foarte necesar în direcția corectă. Corporațiile aveau încă nevoie de un sistem care să poată răspunde nevoilor lor unice de date și să depășească elementele esențiale goale ale gestionării datelor. Pe scurt, tehnologia necesară pentru a evolua.

Intrați în Hadoop

Intră Hadoop, un software cadru open-source creat de mai mulți programatori, inclusiv Doug Cutting. Acolo unde MapReduce a fost de bază și larg, Hadoop a oferit o specificitate revigorantă. Companiile își puteau proiecta propriile aplicații personalizate care să răspundă nevoilor de date în moduri în care niciun alt software nu putea, și, în general, era compatibil cu alte sisteme de fișiere. O firmă cu programatori talentați ar putea proiecta un sistem de fișiere care ar realiza sarcini unice cu date care păreau de neatins înainte. Partea cea mai bună a fost aceea că dezvoltatorii ar împărtăși aplicații și programe între ele care ar putea fi expuse și perfecționate.

Prin democratizarea unei resurse atât de importante, Hadoop a devenit o tendință. Până la urmă, că multe corporații mari, în special firmele de motoare de căutare, au considerat că au avut nevoie de zeci de ani! Nu a trecut mult timp până când gigantii motoarelor de căutare, cum ar fi Yahoo, anunțau implementarea unor aplicații mari Hadoop care au generat date utilizate în interogările de căutare pe Web. În ceea ce părea un val, mai multe companii marcante au anunțat adoptarea acestei tehnologii pentru bazele lor de date masive, inclusiv Facebook, Amazon, Fox, Apple, eBay și FourSquare. Hadoop a stabilit noul standard pentru prelucrarea datelor.

Date mari, mari probleme

În timp ce avansările tehnologiei de date au modificat modul în care companiile tratează datele, mulți directori le consideră încă echipate pentru întreaga gamă de sarcini necesare. În iulie 2012, Oracle a lansat un sondaj asupra a peste 300 de directori de nivel C, care au dezvăluit că, în timp ce 36% dintre companii se bazează pe IT pentru a gestiona și analiza date, 29% dintre ei consideră că sistemele lor nu au abilități suficiente pentru a-și satisface companiile. are nevoie. Probabil că cea mai izbitoare constatare a studiului a fost că 93 la sută dintre respondenți credeau că firma lor pierde până la 14 la sută din veniturile sale, nefiind în măsură să folosească datele colectate. Aceasta este venitul care ar putea fi cheltuit pentru îmbunătățirea produselor și angajarea mai multor lucrători. Într-o perioadă în care companiile se luptă să rămână profitabile, îmbunătățirea datelor astfel încât firmele să poată deveni mai profitabile este o necesitate. Sondajul indică faptul că, în ciuda celor care cred că influența datelor mari asupra comerțului a trecut deja, oportunitățile de creștere și avansare pe care le deține nu trebuie realizate pe deplin.

Ce înseamnă viitorul pentru Big Data

Vestea bună este că Hadoop și MapReduce au inspirat multe alte instrumente de gestionare a datelor. Multe companii noi creează platforme de date extinse care rulează pe Hadoop, dar oferă o gamă largă de funcții analitice și o integrare mai ușoară a sistemului. Se pare că corporațiile au investit o mulțime de resurse în soluționarea problemelor de date, iar succesul financiar al firmelor de date a fost o dovadă în acest sens. În 2010, firmele de date au realizat aproximativ 3, 2 miliarde de dolari în vânzări cu amănuntul. Mulți experți au estimat că acest număr va crește până la anul în vârf de 17 miliarde de dolari doar pentru anul 2015. Acesta este un fapt care nu s-a pierdut pentru unele dintre cele mai mari companii de tehnologie. Atât IBM cât și Oracle au cheltuit miliarde în ultimele câteva luni pentru a achiziționa firme de date. Multe alte firme vor face mișcări similare în anii următori, deoarece continuă să crească pentru o cotă de piață competitivă.

Frontiera Big Data

Cantitatea de date colectate continuă să crească exponențial, ceea ce unii sunt îngrijorați și alții încântați. Reacțiunea este că ființele umane vor continua să devină mai productive și adaptative pe măsură ce vom învăța lucruri noi despre lumea noastră prin analiza datelor. Dezavantajul este că există o cantitate atât de vastă de date, încât mulți se tem că nu suntem capabili să o stocăm corect, mult mai puțin să o gestionăm corect, astfel încât să poată fi folosită de toți cei care au nevoie de ea.

Acestea fiind spuse, avansările în datele mari pot oferi oportunități fără precedent pentru soluții la probleme urgente referitoare la date. De exemplu, experții au sugerat că, dacă datele mari ar fi puse în aplicare în mod corespunzător, cu accent pe eficiență și calitate, aceasta ar avea potențialul de a economisi în jur de 300 de miliarde de dolari pe an numai în cheltuielile pentru îngrijirea sănătății; comercianții cu amănuntul ar putea să își îmbunătățească marjele de exploatare, sectorul public ar putea oferi servicii mai bune, iar întreprinderile mari ar economisi miliarde. Și deci, se pare că soluționarea problemelor noastre de date nu este necesară doar în sălile de bord ale companiei, ci peste tot. Ceea ce spune lucruri bune despre viitorul datelor mari - și poate și al nostru.