El big data està format per conjunts de dades més grans i més complexos, especialment procedents de noves fonts de dades. Aquests conjunts de dades són tan voluminosos que el programari de processament de dades convencional senzillament no pot gestionar-los. No obstant això, aquests volums massius de dades es poden utilitzar per abordar problemes empresarials que abans no hagués estat possible solucionar.
L'expert/a en Big Data és el professional que dissenya el procés d'aplicació de sistemes Big Data en organitzacions, el que inclou: analitzar les necessitats relacionades amb l'explotació de les dades (quantificació del volum de dades a tractar, anàlisi de la tipologia de dades, i capacitat d'emmagatzematge); dimensionar el sistema en funció d'aquestes necessitats; dissenyar i planificar la seguretat del sistema; realitzar-ne el seguiment; i donar suport a la seva implantació, el que inclou la formació del personal de l'empresa en el funcionament del sistema Big Data o la participació en el desenvolupament estratègic de l'empresa, traslladant informació sobre les possibilitats que proporciona el Big Data.
Analitzar les necessitats relacionades amb l'explotació de dades a partir dels sistemes Big Data, que permeten el tractament i anàlisi d'enormes dipòsits de dades, tan desproporcionadament grans que resulta impossible tractar-los amb les eines de bases de dades i analítiques convencionals.
-
Quantificar el volum de dades a tractar i les de l'univers digital (Internet, xarxes socials, etc.) que ha de gestionar.
-
Analitzar la tipologia de dades a gestionar (text, vídeo, imatges, etc.), l'ús que cal fer-ne (estàtic o dinàmic), i el dimensionament de l'ample de banda necessari per tractar-la.
-
Identificar la capacitat d'emmagatzematge necessària per poder gestionar el volum de dades quantificat amb seguretat.
-
Proposar la solució de Big Data més adequada tenint en compte les anàlisis efectuades, i dirigeix i gestiona la seva implementació.
-
Establir el sistema de seguretat per preveure riscos (xifrat de les dades, rastreig de malwares o sistemes de fuga, entre altres).
-
Preveure possibles incidències en la implementació del sistema Big Data i resol les que es puguin derivar de la seva integració definitiva.
-
Realitzar les comprovacions necessàries per assegurar-se que el sistema funciona correctament: tests de qualitat, proves pilot, etc.
-
Formar el personal en el funcionament del sistema Big Data implementat.
-
Participar en el desenvolupament estratègic de l'empresa, traslladant informació sobre les possibilitats que proporciona el Big Data i plantejant noves solucions.
-
Elaborar documentació tècnica del projecte Big Data: disseny de l'estructura, justificació del seu plantejament i descripció de les funcionalitats.