O assunto Big Data está cada vez mais em discussão como diferencial competitivo para as empresas. A consultoria IDC prevê que o mercado de Big Data será de US$16,9 bilhões em 2015, partindo de um patamar de US$3,2 bilhões em 2010. Isto significa crescimento de quase 40% ao ano. A massificação do uso de Big Data está em parte relacionada com as novas tecnologias que endereçam o que o mundo tradicional não consegue interpretar e que são chave no processo. Mas será que as pessoas realmente sabem o que é Big Data?
O instituto de pesquisas Gartner define a expressão como dados que apresentam relevância em quatro aspectos principais: volume, velocidade, variedade e complexidade. O volume de dados tende a ser utilizado como sinônimo de Big Data. Esse aspecto tornou-se mais evidente em função do aumento da troca de dados entre sistemas e novos dispositivos, além do crescimento da digitalização de mídias antes disponíveis somente em outros formatos, tais como textos, imagens, vídeos e áudio.
A velocidade está associada à multiplicação de novas fontes de dados e a necessidade de consumo desses dados de forma mais rápida. Fontes de dados automatizadas, como sensores, RFIDs e GPSs, são capazes de gerar dados a cada fração de segundo para diferentes métricas e, se somadas aos demais equipamentos que fazem parte do parque instalado, provocam um fluxo constante de dados ao longo do tempo.
Já a variedade é incluída pela organização dos dados que é dividida em: dados estruturados, semiestruturados e não estruturados. Os dados estruturados estão presentes em sistemas tradicionais corporativos (bancos de dados, arquivos sequenciais e hierárquicos etc). Os semiestruturados estão disponíveis por meio de logs de sistemas (web servers, CDRs etc.) e os não estruturados são os conteúdos digitalizados que, anteriormente, eram acessados em forma não digital, como arquivos de imagens, áudios, textos, entre outros.
O universo de Big Data contempla a possibilidade de uso de todos os dados disponíveis por meio de e-mails, documentos, messaging, imagens, gravações de áudio, logs, vídeos etc. Por fim, a complexidade existe pelo fato de como lidar com todas as características listadas anteriormente para trazer informação útil de forma eficiente.
Muitos fornecedores exploram sua habilidade tecnológica de armazenar grandes volumes de dados enfocando na capacidade de suas plataformas de tratar as características de Big Data isoladamente, mas sem mostrar como fazer isso de forma integrada e simples. Outros ainda acreditam que Big Data está relacionado a projetos de data warehouse e Business Intelligence (BI), mas o maior potencial de Big Data está na possibilidade de fazer a análise avançada sobre os dados, o que também é chamado de Big Data Analytics.
Qual a diferença? Um projeto de data warehouse requer um projeto relativamente longo para desenho e construção de um modelo de dados, dos processos de ETL (sigla em inglês de Extração, Transformação e Carga de Dados), dos relatórios, entre outros. É um projeto em que as novas demandas são constantes e cada interação é lenta. Uma manutenção no modelo de dados requer alterações no processo de ETL, que, por sua vez, tende a levar horas para ser concluído.
A proposta do Big Data pode ser traduzida de forma simples por meio da filosofia de trabalho que possui o acrônimo MAD, que significa: Magnetic (tradução de magnético, pela “atração” de dados sem a preocupação da qualidade), Agile (ágil, pela interpretação rápida dos dados) e Deep (profundo, pela análise detalhada).
Na prática, o Big Data pode ser definido como todos os dados em que as tecnologias tradicionais, em uso nos dias de hoje, possuem dificuldade em endereçar. Para saber se você está diante de um problema de Big Data, pense se possui dificuldade em tratar um dos seguintes aspectos: armazenamento, proteção, gerenciamento, compartilhamento, análise e visualização.
Então, surge o questionamento: as empresas já estão utilizando Big Data? Existem companhias com elevado grau de maturidade analítica. Essas são as empresas que baseiam suas decisões em fatos e, hoje, tiram proveito de uma vantagem competitiva estratégica. Alguns analistas indicam que as empresas que adotarem antecipadamente Big Data terão uma vantagem competitiva de 20% em todas as métricas financeiras sobre seus competidores.
Para que os benefícios do Big Data se materializem, surge, também, um novo profissional no mercado: o cientista de dados. O perfil desse profissional possui habilidades tais como programação, plataforma tecnológica, comunicação, domínio de indústria, estatística e matemática aplicada. Há uma previsão de carência entre 140 mil e 190 mil desses profissionais somente nos Estados Unidos. A falta de profissionais, aliada ao investimento previsto nessa área para os próximos anos, demonstra claramente que a tecnologia está sendo sim adotada pelas empresas. Cabe agora às demais entenderem o potencial de benefício dessa nova onda e passarem a fazer uso dela.
FONTE: CIO UOL
