Î:
Ce circumstanțe au dus la apariția ecosistemului de date mari?
A:Există mulți factori care au contribuit la apariția ecosistemului de date mari de astăzi, dar există un consens general potrivit căruia datele mari au apărut din cauza unei game de design-uri hardware și software care au permis pur și simplu să existe date mari.
| Webinar: Big Iron, Meet Big Data: Liberating Data Mainframe with Hadoop & Spark Înregistrează-te aici |
O definiție convențională a datelor mari este următoarea: Seturi de date care sunt suficient de mari și complexe încât sfidează gestionarea iterativă ușoară sau managementul de mână. Seturile de date mari sunt adesea identificate ca seturi de date care nu se pot încadra într-o simplă rețea de baze de date, deoarece analiza lor necesită prea multă muncă din partea serverelor care gestionează datele.
Având în vedere acest lucru, o parte majoră a ceea ce a creat date mari este ideea pe care o cunoaștem ca Legea lui Moore sau dublarea tranzistorilor pe un circuit la fiecare doi ani, creând dispozitive hardware și stocare de date din ce în ce mai mici (precum și microprocesoare mai puternice) . În combinație cu Legea lui Moore și, probabil, din cauza acesteia, capacitatea de calcul a sistemelor software accesibile a continuat să crească, până la punctul în care chiar și computerele personale ar putea gestiona cantități mult mai mari de date, iar sistemele de afaceri și de avangardă au început să poată gestiona dimensiunile datelor. de neconceput cu mai mulți ani înainte. Sistemele personale s-au mutat de la kilobytes la megabytes, apoi la gigabytes, într-un proces transparent pentru consumatori. Sistemele de avangardă s-au deplasat de la gigabytes la terabytes și petabytes și la comenzi de mărime precum zetabytes, în moduri care erau mult mai puțin transparente pentru cetățeanul obișnuit.
Un alt avans care s-a acomodat cu datele mari a fost modificările modurilor în care manipulatorii procesau seturile de date. În loc să prelucreze liniar printr-un design convențional de baze de date relaționale, manipulatorii au început să utilizeze instrumente precum Apache Hadoop și piese de gestionare hardware conexe pentru a elimina blocajele în procesele de date.
Rezultatul este marea lume a datelor în care trăim, unde seturile de date masive sunt stocate și întreținute în centrele de date și accesate tot mai mult de o gamă largă de tehnologii pentru o gamă largă de utilizări. De la comerț la ecologie, de la planificarea publică la medicină, datele mari devin din ce în ce mai accesibile. Între timp, agențiile guvernamentale și alte organizații mai mari continuă să împingă limitele dimensiunilor mari de date și să pună în aplicare soluții și mai avansate.
