Ce este exact hadoop? teoria unui cinic

De obicei, orice este prea bine pentru a fi adevărat. Este posibil să fie cazul cu Apache Hadoop, mult-ballyhooed-ul open-source proiect despre care toată lumea continuă să vorbească. Ce este exact acest lucru? Buna intrebare!

Experți îndoielnici

Analistul Mark Madsen de la Third Nature l-a fixat în perete cu ceva timp înapoi, într-o piesă de milă de pe InsideAnalysis.com: "Ce este Hadoop. Ce nu este Hadoop." Deoarece cineva care știe să proiecteze soluții din lumea reală, atunci le implementează de fapt, sfaturile sale nu trebuie ignorate.

Dar aici curge un curent mai profund, iar timpul este apropiat pentru a descoperi rădăcinile acestei flore fascinante, pentru a vedea dacă nu putem câștiga o perspectivă asupra a ceea ce se întâmplă la nivel macro mai mult. Până la urmă, vânzătorii continuă să spună că este o afacere mare și sunt atât de mulți participanți.

Angajează comiterii! (?)

În prezent, trei companii dețin majoritatea pieței naționale Hadoop: Cloudera, Hortonworks și MapR. La o prezentare recentă destul de controversată prin intermediul Boulder BI Brain Trust (#BBBT), Jim Walker de la Hortonworks a făcut acest comentariu curios:

"Nu puteți avansa tehnologia dacă nu angajați angajatorii!"

Mai vino?

Nu vi se pare că ar putea spune senatorul Palpatine într-un film Star Wars?

Senatorul Palpatine: "Angajează comitentii!"

Minion în apropiere: "Dar, dar, domnule! Gândiți-vă la copii!"

Pentru profanii de acolo, care încearcă doar să facă lucrurile, angajatorii sunt oameni care sunt dedicați unui anumit proiect open-source. Fundația Apache are protocoale stricte prin care proiectele lor înaintează, ceea ce este adesea un lucru bun.

Acestea fiind spuse, comentariul lui Walker garantează examinarea. O întrebare arătată (cu riscul de a conjura zilele de joacă) ar fi: Este o promisiune sau o amenințare? Spune că Hortonworks ar putea doar să-și ia mingea și să plece acasă?

Cooperare sau competiție?

Unghiul interesant, dacă paradoxal, este acela că, se pare, majoritatea angajatorilor din echipa Hadoop (aproximativ 30 de ani) sunt din Hortonworks și Cloudera - care sunt concurenți. Acesta este un caz de competiție foarte curios.

Deci, care este afacerea? Iată o presupunere educată: Hadoop își datorează în mare parte faima unui plan inteligent conceput de un grup de capitalisti și ingineri de risc din Silicon Valley care încearcă în esență să-și acopere pariurile împotriva Oracle.

Ideea generală este să semănăm piața cu o bază de cod care poate fi îmbunătățită și consolidată de o flotă de dezvoltatori care va crea, în timp, în mod ideal, toate instrumentele de gestionare a datelor, inclusiv produsele bazei de date. VC-urile pot investi și încasa unele zile. Există însă anumite provocări serioase în joc.

La fel ca toate întreprinderile monolitice, Oracle se găsește adesea în elementele transversale ale multor jucători mai mici. Și cine nu și-ar dori doar o porție din veniturile lor de amorțire a minții? Numai în ultimul trimestru, Oracle a înregistrat o sumă de 9 miliarde de dolari. Dar provocarea Marelui Roșu și baterea lor sunt două realități foarte diferite.

Webcast gratuit: Ce este Hadoop și unde merge? Alăturați-vă Eric Kavanagh, Robin Bloor și Techopedia pentru o discuție despre cum Hadoop este cu totul diferit de Linux sau SOA și de ce viitorul său rămâne în mare parte nescris.

Probleme de ambalare

Lucrul despre Hadoop, în sine, este că nu este o soluție ambalată în niciun fel. Mai degrabă, este o colecție complexă de module care permite programatorilor de înaltă calitate să utilizeze algoritmi masivi de procesare paralelă pentru a face lucruri foarte specifice. Dar nu există o interfață de utilizator fantezistă, iar manualele sunt brutale.

Adăugați la această provocare acest obstacol critic: aveți nevoie și de oameni de afaceri care au cel puțin o înțelegere generală a ceea ce poate face. Acești oameni trebuie să fie capabili să contureze idei despre cum poate fi folosit, apoi să comunice dezvoltatorilor, care trebuie să producă, testeze, implementeze și să susțină aplicații.

Orchestrând acest dans este modul în care Cloudera și Hortonworks își câștigă o mare parte din bani. Problema este că majoritatea soluțiilor create prin această metodă sunt unice și, de obicei, se concentrează pe sisteme operaționale, spre deosebire de cele analitice. Traducere? Asemenea lucruri nu se împrumută cu adevărat la produsele software ambalate.

Profitabilitatea ambalajelor!

Ceea ce ne readuce la Oracle. Larry Ellison și băieții își fac fânuri de vânzare a bazei de date tehnologie, hardware, servicii și (așteptați-l …) software ambalat. Se pare că Cloudera și-a dat seama de acest lucru, de unde și concentrarea lor asupra Impala. Dar Hortonworks?

Modelul lor pare să imite mai îndeaproape pe cel al RedHat, oamenii care au construit o afacere de un miliard de dolari pe partea de sus a sistemului de operare Linux. Nary, un important vânzător din industria software-ului companiei, nu scrie pentru Linux, sistemul de operare prin care IBM a condus Microsoft la pas. Dar Hadoop nu este Linux, nu de la o lovitură lungă.

Dr. Geoffrey Malafsky, fost nanotehnolog pentru Marina SUA, acum cercetător de date cu Phasic Systems și PSIKORS Institute, distilează propunerea de valoare Hadoop astfel:

"Hadoop este excelent pentru căutare, o analiză de tendințe foarte mare pentru rezultatele stocastice și probabil unele prelucrări paralele inteligente foarte ieftine, cum ar fi fosta mea soție obișnuită să facă: calculul funcției de undă mecanică cuantică a reacțiilor chimice în stare solidă. Această știință reală se bazează pe supercomputere și s-a mutat oarecum în procesare paralelă, dar este o schimbare grea a abordării programării. Studenții absolvenți tineri, deștepți și energici vor fi cei care vor face acest lucru. Bănuiesc că subvențiile de cercetare încep să meargă în această direcție pentru niște calculatoare de mare putere aplicații.“

Veți observa că nu sună nimic ca depozitare de date, informații de afaceri, integrare de date sau chiar date mari. Sună ca un supercomputing. Și dintr-un motiv interesant, lumile computerelor de înaltă performanță și informațiilor de afaceri nu s-au ciocnit cu adevărat sau nu s-au contopit într-un mod semnificativ.

Long Road Ahead pentru Hortonworks și Cloudera

Și iată veștile cu adevărat proaste pentru Hortonworks și, eventual, pentru Cloudera. Marii vânzători precum IBM și SAP și Oracle și Teradata - pentru a pune acest lucru ușor și pentru a cita Dire Straits: „Ei nu sunt mut!”. În urmă cu trei și mai mulți ani, toate au elaborat strategii serioase de Hadoop.

Centrul acestor planuri sunt tipurile de lucruri pe care le așteaptă utilizatorii de afaceri: interfețe grafice de utilizator, funcționalitate drag-and-drop, instrumente de modelare și descoperire, flux de lucru, guvernanță, securitate; pe scurt, toate bițiile și piesele care fac software-ul întreprinderii utilizabil. Și, desigur, acești mari furnizori au baze de instalare masive.

Pentru a fi sigur, Cloudera și Hortonworks au ambele afaceri bune, dar doar o mică parte din ceea ce acești jucători majori obțin în fiecare an. Faceți cunoștințe cu privire la cât de mult își încarcă provocatorii clienții lor, în comparație cu cât de probabil este capul lor general, iar imaginea nu este atât de înflăcărată. Acordat, acesta este egal pentru curs cu preocupări software în stadiu timpuriu, dar totuși …

Viitorul Hadoopului?

Deci, s-ar putea să vedem valul clasic de achiziții, așa cum am avut-o înapoi, atunci când IBM a cumpărat Cognos, Oracle a obținut Hyperion și SAP a născut BusinessObjects? Poate, dar noii copii din acest bloc nu dețin Hadoop; doar îl împrumută. Și cât de promițătoare ar fi YARN și Tez, ciclurile de eliberare par să rămână în urmă în ceea ce produce lovitorii grei.

Chiar a doua zi, un insider din industrie a comentat că politica de la Apache poate fi un blocaj serios. Acest lucru nu este extraordinar de surprinzător, mai ales atunci când luați în considerare dolarii implicați - există o motivație foarte mare pentru inovatori să o îmbogățească. Și a observat cineva cum Chrome a depășit Firefox în funcționalitate și operabilitate în ultima perioadă? Sursa închisă, cineva?

Un lucru este sigur: acest joc se va juca în anumite moduri interesante. Da, mamiferele (citiți: vânzătorii mici) pot depăși adesea dinozaurii; dar încă mai există aligatori și crocodili în toată lumea; și dacă te împiedici de unul neașteptat, s-ar putea să descoperi cât de ascuțite pot fi acești dinți. Câțiva croci împreună ar putea chiar să scoată un elefant sau doi.