O que é Big Data?

Como

PorRyan Dube

Última atualização em26 de março de 2020

Ao longo dos anos, muitas palavras-chave se tornaram moda em muitas indústrias. Poucos se tornaram tão populares, e por tanto tempo, como grandes dados. Mas o que é big data, exatamente?

Big data refere-se a um oceano virtual de informações de várias fontes, analisadas e filtradas de forma a desenvolver resultados significativos e acionáveis.

O processo de conversão de “big data” em resultados significativos pode parecer complicado e difícil. No entanto, depois de entender o que é big data e como ele funciona, entender como torná-lo significativo não parece tão complicado.

O que é Big Data?

Quando você ouve as pessoas falarem sobre "big data", geralmente isso acontece com muita agitação manual e grandes palavras. Mas quando você reduz a hipérbole, os “dados” reais são na verdade muitos fluxos de entrada de dados múltiplos.

Para entender isso, um exemplo pode ajudar. Digamos que você administre uma empresa de fabricação de guarda-chuva. Seu departamento de marketing está procurando uma maneira de prever melhor quando a demanda do mercado está prestes a aumentar.

Antes dos dias do big data, os profissionais de marketing estudavam as tendências do mercado, enviavam pesquisas de clientes e muitas outras atividades.

Eles coletavam todos esses dados e os armazenavam nos bancos de dados internos de sua própria empresa. Alguém pode até estar encarregado de atualizar os dados da pesquisa de marketing anualmente ou trimestralmente.

No entanto, o advento do big data expande a capacidade de realizar esse tipo de pesquisa. Em particular, o big data é especialmente eficaz na identificação de tendências ou eventos importantes quase em tempo real.

As entradas de dados para esse tipo de análise de “big data” podem incluir fluxos de dados em tempo real, escrevendo código que se conecta ao Interface de programação de aplicativos (API) de muitas empresas diferentes que tornaram esses dados públicos:

• Twitter e Facebook: Identifique quando e por que as pessoas estão discutindo a compra de guarda-chuvas.
• Clima: Identificando condições do tempo ou previsões que poderiam se transformar em vendas guarda-chuva mais altas.
• Mercado de ações: Mudanças sazonais no custo de matérias-primas para a produção de guarda-chuvas.
• Uso da Web do Cliente: Usando informações do cookies de computador de pessoas que visitam o catálogo da empresa para entender os comportamentos de compra.
• Histórico de compras do cliente: Acompanhando a geografia e as estações das tendências do ponto de venda dos varejistas.

Para usar big data, a equipe de marketing da empresa precisaria, em alguns casos, instalar novas tecnologias.

Big Data e Internet

Isso pode incluir a tecnologia Internet das Coisas (IoT) em varejistas que rastreia e relata os comportamentos dos consumidores. Ou pode exigir que um programador escreva o código necessário para fazer interface com a API do Twitter para filtrar quaisquer Tweets que mencionem "guarda-chuvas" ou o nome da empresa.

Agora, cada uma dessas tecnologias está disponível graças à Internet. A internet permite que qualquer pessoa utilize fluxos de dados de todo o mundo.

Aqui está como a configuração em nosso próprio exemplo pode funcionar neste caso.

Este diagrama mostra como os dados fluem para o "data lake" da empresa de muitas fontes diferentes. Os dados recebidos podem ser estruturados de maneira diferente, mas o importante é coletar o máximo de dados possível de todas as fontes.

O que é um Data Lake?

Ao contrário de um banco de dados, que contém dados estruturados organizados em colunas e linhas específicas, um data lake é um repositório massivo para muitas formas diferentes de dados.

Os dados armazenados podem ser estruturados ou não estruturados. Isso significa que pode ter linhas e colunas estruturadas ou não. Os dados podem ser cadeias de caracteres que usam formatação específica para separar dados. Cada fonte de dados pode enviar dados para um data lake, da forma que desejar.

Imagine um lago de dados como uma enorme biblioteca que contém muitas formas de mídia, como livros, imagens em microfichas e vídeos em DVDs.

Imagine a inteligência digital e o engenheiro de análise de dados como usuários dessa biblioteca. Esses usuários podem extrair dados digitalmente de livros, microfichas e DVDs e encontrar maneiras de misturar e combinar esses dados e aprender coisas sobre como os dados se correlacionam.

Dessas aprendizagens surgem inteligência real e acionável. Alguns destes exemplos podem incluir:

• O Chatter no Twitter e no Facebook indica uma tempestade que se aproxima na cidade de Nova York, com milhares de clientes planejando comprar guarda-chuvas.
• Os dados de compra de cookies de computador e as máquinas de checkout de varejo indicam que os compradores na Califórnia estão dispostos a pagar mais pelos guarda-chuvas de designers do que as pessoas na Virgínia.
• Um grande padrão de tempestade se aproximando indica que a maior parte da costa leste ficará coberta por uma tempestade por uma semana inteira.

Todos esses aprendizados podem levar a equipe de marketing a investir em mais publicidade geograficamente, onde a demanda de vendas é muito maior. As operações de manufatura também podem mudar seus esforços de produção para as áreas do mundo mais próximas de onde as vendas têm maior probabilidade de subir.

Dessa maneira, usando big data, qualquer empresa pode otimizar seu marketing e operações.

O que é o Hadoop?

A próxima pergunta é: como as empresas processam volumes tão altos de dados e identificam tendências?

Esse tipo de processamento de dados requer recursos maciços do computador. Tanto é assim que as empresas não usam mais grandes computadores mainframe no local como costumavam usar. Muitos desses serviços agora são compras da nuvem. Serviços de inteligência de dados na nuvem, como o Apache Hadoop, oferecem muitos nós de computador em uma grande rede na nuvem. Cada um desses nós contribui para a capacidade de processamento necessária para analisar fluxos maciços de dados de várias fontes.

Esse tipo de poder de processamento é o coração da máquina ou inteligência digital e análise de dados. O Hadoop é a estrutura de software que faz toda essa rede de enorme poder computacional funcionar conforme exigido pelos engenheiros de inteligência digital.

Uma vez que o mecanismo computacional produz inteligência acionável, eles geralmente são entregues à empresa na forma de painéis ou relatórios.

Big Data não são apenas palavras de ordem

A verdade é que “big data” é mais do que apenas linguagem corporativa. Muitas empresas estão aprendendo que, ao utilizar melhor os dados, elas são capazes de realizar inúmeras conquistas.

• Os fabricantes podem melhorar métricas críticas de produção, como rendimento, qualidade e eficiência.
• Os varejistas podem alinhar melhor os investimentos em marketing, publicidade e negócios com base nos sinais do mercado.
• Os distribuidores são capazes de prever possíveis problemas em uma cadeia de suprimentos para desenvolver preventivamente planos de contingência.
• As organizações de notícias podem identificar rapidamente eventos dignos de nota analisando sinais públicos na internet.
• Especialistas em segurança cibernética use sinais na Internet para identificar ataques cibernéticos enquanto eles estão em andamento.

Embora grande parte do que o big data tenha realizado nos últimos anos permaneça praticamente invisível para o público, o big data realmente teve um impacto significativo na vida cotidiana das pessoas em todo o mundo.