Revista si suplimente
MarketWatch
Inapoi Inainte

Promisiunea Big Data are un viitor incert

19 Februarie 2020



Big Data a fost o etapă esențială în dezvoltarea procesării de volume mari de date, însă piața ne arată că Big Data nu a fost de fapt disrupția promisă. Deși Big Data își are în continuare un rol stabil în piața de date, produsele Big Data încep să fie achiziționate și integrate în sistemele marilor corporații. În lipsa unor pivotări majore, concurența venită din partea marilor furizori de cloud face ca viitorul pe termen lung al Big Data să fie incert.

Tehnologii disruptive vs. tehnologii revoluționare
Pe 23 ianuarie, Clayton Christensen a încetat din viață, după o luptă de mai mulți ani cu leucemia. Christensen a fost profesor doctor la Harvard Business School și este inventatorul teoriei inovației disruptive. Numele inițial era de tehnologie disruptivă, însa Christensen a înțeles că disruptive sunt de fapt anumite modele de business create în jurul unei tehnologii și nu tehnologia per se.
Christensen face o distincție între inovație revoluționară și inovație disruptivă. Am folosit termenul disruptiv cu sensul din limba engleză pentru că în limba română nu se face această distincție pe care Christensen o face în cartea „Dilema inovatorului” (1997).
Christensen susține că nu este suficient să ai o tehnologie revoluționară sau un produs revoluționar. El dă exemplul automobilului, care a existat ca tehnologie timp de 30 de ani fără să producă efecte în piața de transport. Disrupția a apărut abia când Ford a creat primul automobil cu un preț suficient de mic încât să schimbe pentru totdeauna modul cum ne deplasăm.
Iphone sau Facebook ar fi exemple recente. Tehnologia de touch din spatele Iphone-ului exista încă de la PalmTop-uri, iar rețele sociale existau și înainte de Facebook, dar, deși revoluționare, nu au fost disruptive.

Promisiunea Big Data
Big Data a început cu Apache Hadoop și, cum nu avem spațiu să exagerăm cu detaliile tehnice, rezum superficial că inovația a constat în crearea unui framework de software care permite ca același proces de stocare sau de calcul să fie distribuit într-o rețea de calculatoare, în loc să fie efectuat de o singură mașină.
Capacitatea de a distribui puterea de calcul și de stocare într-o rețea a permis procesarea unui volum imens de date și executarea unor procese din ce în ce mai complexe, oferind o bază și pentru alte tehnologii, precum Machine Learning. Machine Learning pentru a fi performant înghite volume de date și putere de procesare inimaginabile în urmă cu 10 ani. Bazele a ce urma să devină Big Data au fost puse în 2009, prin lansarea distribuției de Hadoop numită Cloudera.
Nu orice volum de date sau stream de date este însă Big Data. Big Data este clar definită de caracteristici particulare, dar care în esență descriu un volum foarte mare de date care vin cu o viteză foarte mare. Spre deosebire de bazele de date clasice RDBMS (MySQL, Oracle, etc.), Big Data folosește baze de date NoSQL care pot stoca orice tip de date, de la text, la video, audio sau poze, și le procesează distribuit pentru a găsi legături între date. Scopul final al Big Date este extracția de informații utile pe baza cărora decidenții să poată lua decizii mai educate.
Big Data a început să crească vertiginos începând cu 2012 și a promis foarte foarte mult. Creșterile start-up-urilor din piață, precum și investițiile fondurilor VC în Big Data, au fost uriașe. Teza pe scurt e că absolut orice companie își poate crește KPI-urile de zeci de ori procesând Big Data (de cele mai multe ori împreună cu Machine Learning).
Zeci de milioane de articole au fost scrise despre posibile use-case-uri ale Big Data, de la companii mici, care pot studia bonurile clienților pentru a obține informații utile pentru retenția de clienți, până la revoluționarea întregului sector industrial sau bancar.

Big Data - tehnologie disruptivă?
Tehnologia pe care se bazează Hadoop și Big Data în general a fost creată de Google ca open-source în 2004 și se numește MapReduce. Industria a ignorat limitările de creștere pe care le au produsele open-source și a considerat că monetizarea va funcționa mai bine în cazul Big Data, totuși încasările serioase se lasă așteptate.
Big Data a fost vândută mediului de business ca soluția miraculoasă care schimbă modul prin care se iau decizii de business. Deși cu rezultate bune raportate, majoritatea companiilor de dimensiune mare au întârziat integrarea Hadoop și a altor tehnologii Big Data la scală largă.
Motivele sunt atât tehnice, cât și de business. Companiile mari au justificat lipsa de integrare a tehnologiilor de Big Data pentru că, deși Hadoop este prolific la procesarea volumelor mari de date, Hadoop integrează suboptimal necesitățile de analiză tradițională a operațiunilor de zi cu zi în companie.
Curățarea datelor este un alt chin când vorbim de Big Data. În cazul companiilor mari necesarul de data scientists care să curețe asemenea volume de date este uriaș, iar prea multe date greșite pot duce în final la luarea unor decizii de business falimentare.
Siguranța datelor e un alt aspect, backup-ul în Hadoop e mult mai dificil și prezintă un risc crescut de pierdere de date față de utilizarea unui serviciu de cloud unde responsabilitatea siguranței datelor nu mai e în grija ta. Da, poți rula Big Data și în cloud, însă restul de dificultăți rămân, iar dacă tot muți infrastructura în cloud, nu e mai ușor să te folosești de serviciile de date oferite de furnizorul de cloud?
Google a continuat de fapt dezvoltarea unor succesori ai Map Reduce pentru analiza de date, centrați pe cloud. Google Dataflow de exemplu procesează datele în timp real în cloud și sunt curățate prin utilizarea de Machine Learning. Ceilalți operatori de cloud la rândul lor au creat propriile sisteme de procesare de date, iar când le lipsește ceva pot achiziționa din piață, după cum vom vedea în următoarea secțiune.

Piața de Big Data în 2019 și perspectiva ce se conturează
La începutul anului Cloudera a fuzionat cu principalul competitor Hortonworks într-o fuziune de 5,2 miliarde de $. Ambele companii au fost pornite de foști angajați ai Yahoo și colegi care au contribuit la dezvoltarea Hadoop. Deși promisiunile la fuziune era mari, în iunie CEO-ul companiei, Tom Reilly, a anunțat plecarea din fruntea Cloudera, ceea ce a dus la o cădere la bursă de 32% și scăderea proiecțiilor companiei pe anul în curs. Deși compania a anunțat profituri în ultimul trimestru al 2019, viitorul companiei e incert.
MapR, o companie privată care dezvoltă o arhitectură enterprise de Big Data bazată tot pe Apache Hadoop, a raportat probleme financiare imense la începutul anului. În august 2019, Hewlett Packard Enterprises a achiziționat toate activele MapR.
Cum datele procesate de Big Data sunt absolut inutile dacă nu sunt vizualizate corespunzător, era normal ca unele dintre cele mai profitabile start-up-uri în Big Data să fie companii care dezvoltă extensii sau produse de vizualizare a datelor.
Două din cele mai mari produse din piața de vizualizare, Tableau și Zoomdata, au fost achizionate de Salesforce, respectiv Logi Analytics. Google a achiziționat Looker, un soft care ușurează explorarea de date, iar Looker va fi integrat în curând în Google Cloud.
Salesforce a plătit 15.7 miliarde de $ pentru achiziția Tableau, iar Google 2.6 miliarde de $ pentru Looker, ceea ce ne arată că framework-urile de Big Data precum Cloudera sau MapR scad în importanță în fața softurilor third party de procesare și de vizualizare de date.
După cum am văzut, furnizorii mari de cloud au puterea financiară și serviciile lor de date sunt o mare piedică în dezvoltarea Big Data, iar tendința se va agrava odată cu intrarea 5G.

Multicloud, 5G și Edge Computing – tehnologiile ce schimbă paradigma
Clienții majori de servicii de cloud cer de ani de zile o interoperabilitate între multiplele servicii de cloud, astfel încât companiile să poată beneficia de punctele forte ale fiecărui serviciu de cloud în parte și să nu fie nevoită să aleagă între un operator sau altul. Din acest motiv multicloud este pe buzele tutoror din 2019, iar operatorii de cloud caută soluții să realizeze această integrare.
Tot pe buzele tuturor de ani buni sunt dispozitivele IoT și tehnologia 5G. Astfel, combinând aceste trei tehnologii - cloud, IoT și 5G - o companie poate culege date în timp real din diverse surse prin dispozitive IoT, poate să le transmită în timp real prin tehnologia 5G, și apoi să le stocheze în cloud la operatorul cel mai potrivit pentru respectivele date, să le proceseze cu operatorul de cloud cel mai potrivit și să le vizualizeze în tool-ul de vizualizare preferat. În acest fel clientul obține maxim de valoare din tehnologia pe care o plătește ca serviciu.
Inclusiv filosofia de procesare se poate schimba având dispozitive IoT. Datele pot fi curățate de la colectare, salvând 80% din timpul petrecut de data scientist să facă această curățenie, iar procesarea se va face aproape de punctul unde este nevoie de respectiva informație, ceea ce numim Edge Computing.
Avantajul este evident: în loc să colectezi mormane de date nestructurate, pe care apoi să stai să le cureți și să le prepari ca să poți să extragi informații din ele, te folosești de AI șă le cureți din start. Asta crează o schimbare majoră de paradigmă față de filosofia Big Data și pare că este drumul cel mai profitabil și mai ușor de implementat.
Simplificând, serviciile oferite de operatorii de cloud sunt un fel de Netflix, plătești o taxă pe lună per utlizator și ai stocare, backup, acces de oriunde și cu orice dispozitiv și beneficiezi de tot pachetul de servicii de curățare și de vizualizare de date, iar Big Data e un fel de „hai să intrăm pe imdb să găsim un film, apoi îl cumpărăm de pe un site sau îl închiriem pe dvd, însă ne trebuie nu știu ce codec, etc.”. Cred că știm cine va câștiga lupta asta.
Big Data a fost o etapă esențială în dezvoltarea procesării de volume mari de date, însă piața ne arată că Big Data nu a fost de fapt disrupția promisă. Deși Big Data își are în continuare un rol stabil în piața de date, în lipsa unor pivotări majore, viitorul pe termen lung rămâne incert.



Tags: ITC, Big Data

Parerea ta conteaza:

(0/5, 0 voturi)

Lasa un comentariu



trimite