10 Big Data face și nu face

Datele mari au multe promisiuni pentru toate tipurile de industrii. Dacă aceste date mari sunt utilizate în mod eficient și eficient, poate avea un impact semnificativ în luarea deciziilor și analitice. Dar beneficiile datelor mari pot fi obținute numai dacă sunt gestionate într-un mod structurat. Cele mai bune practici ale datelor mari sunt stabilite treptat, dar există deja unele aspecte clare și nu în ceea ce privește implementarea.

Următoarele îndrumări se bazează pe experiența practică și cunoștințele colectate din proiectele din viața reală. Iată care sunt principalele mele date despre ce sunt mari și nu sunt făcute.

Implicați toate secțiunile de afaceri într-o inițiativă de date mari

O inițiativă de date mari nu este o activitate izolată și independentă, iar implicarea tuturor unităților de afaceri este o necesitate pentru a obține valoare și o perspectivă reală. Datele mari pot ajuta organizațiile să utilizeze volume mari de date și să înțeleagă comportamentul clienților, evenimente, tendințe, predicții, etc. Acest lucru nu este posibil cu un instantaneu de date, care surprinde doar o parte din întregul volum de date prelucrate în date mari. Drept urmare, companiile se concentrează din ce în ce mai mult pe toate tipurile de date care provin din toate căile / unitățile de afaceri posibile pentru a înțelege modelul corect.

Evaluează toate modelele de infrastructură pentru implementarea datelor mari

Volumul de date și gestionarea acestora reprezintă o preocupare majoră pentru orice inițiativă de date mari. Deoarece datele mari se ocupă de petabytes de date, singura soluție pentru gestionarea ei este folosirea centrelor de date. În același timp, componenta de cost trebuie să fie luată în considerare înainte de a selecta și finaliza orice instalație de stocare. Serviciile cloud sunt adesea cea mai bună alegere, dar serviciile diferitelor medii cloud trebuie evaluate pentru a-l determina. Deoarece stocarea este una dintre cele mai importante componente în orice implementare de date mari, este un factor care ar trebui evaluat foarte atent în orice inițiativă de date mari. (Obțineți o altă perspectivă în Provocarea de date mari de astăzi, rezultă din varietate, nu din volum sau din viteză.)

Luați în considerare sursele tradiționale de date în planificarea datelor mari

Există diverse surse de date mari, iar numărul surselor crește, de asemenea, zi de zi. Acest volum imens de date este utilizat ca o intrare pentru prelucrarea datelor mari. Drept urmare, unele companii consideră că sursele tradiționale de date nu sunt de niciun folos. Acest lucru nu este adevărat, deoarece aceste date tradiționale sunt o componentă critică pentru succesul oricărei povești de date mari. Datele tradiționale conțin informații valoroase, deci trebuie utilizate împreună cu alte surse mari de date. Valoarea reală a datelor mari poate fi obținută numai dacă sunt luate în considerare toate sursele de date (tradiționale și non-tradiționale). (Aflați mai multe despre Take That, Big Data! De ce datele mici pot împacheta un pumn mai mare.)

Luați în considerare un set consistent de date

Într-un mediu de date mare, datele provin din diverse surse. Formatul, structura și tipurile de date variază de la o sursă la alta. Partea cea mai importantă este că datele nu sunt curățate atunci când vine vorba de mediul dvs. de date mari. Deci, înainte de a avea încredere în datele primite, trebuie să verificați consistența prin observare și analiză repetitivă. După confirmarea coerenței datelor, acestea pot fi tratate ca un set consistent de metadate. Găsirea unui set consistent de metadate prin observarea atentă a modelului este un exercițiu esențial în orice planificare a datelor mari.

Distribuie datele

Volumul de date este o preocupare majoră atunci când avem în vedere un mediu de procesare. Din cauza volumului uriaș de date cu care se ocupă datele mari, procesarea pe un singur server nu este posibilă. Soluția este un mediu Hadoop, care este un mediu de calcul distribuit care rulează pe hardware-ul mărfii. Oferă puterea de procesare mai rapidă pe mai multe noduri. (Aflați mai multe în 7 lucruri de știut despre Hadoop.)

Nu te baza niciodată pe o singură abordare de analiză a datelor mari

Există diverse tehnologii disponibile pe piață pentru procesarea datelor mari. Bazele tuturor tehnologiilor de date mari sunt Apache Hadoop și MapReduce. Prin urmare, este important să evaluați tehnologia corectă în scopul corect. Unele dintre abordările importante ale analiticii sunt analitice predictive, analitice prescriptive, analitice text, analitice fluxuri de date etc. Selecția metodei / abordării adecvate este importantă pentru atingerea scopului dorit. Cel mai bine este să evitați să vă bazați pe o singură abordare, dar să cercetați diverse abordări și să selectați potrivirea perfectă pentru soluția dvs.

Nu începeți inițiativa de date mari, înainte de a fi gata

Este întotdeauna recomandat să începeți cu pași mici pentru orice inițiativă de date mari. Așadar, începeți cu proiecte-pilot pentru a obține expertiză și apoi mergeți pentru implementarea reală Potențialul datelor mari este foarte impresionant, însă valoarea reală poate fi atinsă numai după ce ne reducem greșelile și obținem mai multă expertiză.

Nu folosiți datele în mod izolat

Surse mari de date sunt împrăștiate în jurul nostru și cresc din zi în zi. Este important să integrați toate aceste date pentru a obține o analiză corectă a analizelor. Diferite instrumente sunt disponibile pe piață pentru integrarea datelor, dar ar trebui evaluate corect înainte de utilizare. Integrarea datelor mari este o sarcină complexă, deoarece datele din diferite surse sunt de format diferit, dar este foarte necesar pentru a obține rezultate bune de analiză.

Nu ignorați securitatea datelor

Securitatea datelor este o considerație majoră în planificarea datelor mari. Inițial, (înainte de a efectua orice prelucrare), datele sunt în petabytes, deci securitatea nu este strict implementată. Însă, după unele prelucrări, veți obține un subset de date care oferă informații. În acest moment, securitatea datelor devine esențială. Cu cât datele sunt procesate și ajustate mai bine, cu atât acestea sunt mai valoroase pentru o organizație. Aceste date de ieșire bine reglate sunt proprietate intelectuală și trebuie securizate. Securitatea datelor trebuie implementată ca parte a ciclului de viață al datelor.

Nu ignorați partea de performanță a analizelor de date mari

Producerea analizelor de date mari este utilă numai atunci când oferă performanțe bune. Datele mari oferă mai multe informații bazate pe procesarea unei cantități imense de date la o viteză mai rapidă. Prin urmare, este esențial să-l gestionați eficient și eficient. Dacă performanța datelor mari nu este gestionată cu atenție, aceasta va cauza probleme și va face întregul efort fără sens.

În discuția noastră, ne-am concentrat pe inițiativele de a face și nu pe inițiativele de date mari. Datele mari sunt o zonă emergentă și, când vine vorba de implementare, multe companii sunt încă în faza de planificare. Este esențial să înțelegeți cele mai bune practici de date mari pentru a reduce la minimum riscul și greșelile. Punctele de discuție au fost obținute din experiențele live ale proiectului, astfel încât acestea vor oferi câteva orientări pentru ca strategia de date mari să aibă succes.