A era do big data

Certamente, muita gente já ouviu algo a respeito do big data. Entretanto, muito pouco se sabe sobre esse fenômeno que poderá, em muito pouco tempo, revolucionar a maneira como olhamos para o conhecimento. Hoje, sabe-se apenas que big data é o armazenamento e a leitura por meio de algoritmos de uma quantidade gigantesca de dados.

Sabemos também que esses dados são utilizados pelas grandes empresas para impulsionar suas vendas por meio de propagandas direcionadas na internet. Sabemos ainda que somos nós mesmos que fornecemos esses dados, a cada site que visitamos, a cada aplicativo que baixamos, a cada atualização em nossos computadores, a cada compra realizada com cartões de crédito e débito, no mundo físico e virtual. E também quando usamos nossos GPSs, mandamos um email, fazemos uma ligação pelo celular ou nos comunicamos pelas redes sociais, entre outras ações cotidianas. Até o modo como buscamos as informações na tela do computador, ou seja, o movimento de nosso cursor, é mapeado, dataficado e analisado. E a despeito de leis mais razoáveis de privacidade - se bem que as regras básicas estão contidas em cada longo termo de uso, de minúsculas letras, com os quais concordamos - esses bancos de dados produzidos por nós mesmos têm sido comercializados para empresas de todos os setores, em larga escala - aí já muitas vezes sem o nosso consentimento. Mas em outras tantas situações com nossa própria permissão, embora a leitura integral de cada um desses contratos nos tomaria mais tempo do que nos é possível dispor, e disso todas as empresas coletoras, analisadoras ou compradoras de dados estão cientes. E justamente por isso utilizam-se dessa estratégia que já deveria ter sido refreada pela justiça há pelo menos uns dois ou três anos.

De certo modo, muitas dessas informações anteriores já são mais ou menos sabidas por muitos de nós. O que talvez ainda não se tenha refletido de maneira mais aprofundada é que esse é um caminho sem volta e que essa prática invasiva tende a se espalhar para todos os segmentos de nossa vida privada. Simplesmente porque a maioria avassaladora das empresas do mundo, de médio e grande porte, e até as pequenas, vão aderir, na verdade já estão aderindo, a esse método. E dificilmente sobreviverão no mercado sem ele.

Bem, esse é o lado mais negativo do big data, embora haja outros. Mas o que muito pouca gente sabe é que isso pode ser apenas a ponta do iceberg para uma possível mudança de paradigma de como usamos e entendemos o conhecimento. Algo que os estudiosos nessa área têm sugerido como a substituição em larga escala do "por que algo acontece?", para simplesmente "o que acontece?". Não se sabe por que tal fenômeno ocorre ou ocorreu, e talvez nem dará tempo de saber. Mas, a partir do cruzamento de milhões, bilhões ou trilhões de dados, sabe-se que determinada coisa acontece ou aconteceu. E baseando-se em tal evidência se agirá, de forma quase automática. E essa mudança pode se estender para praticamente todas as áreas de nossas vidas: econômica, de consumo, mas também social, educacional, profissional e até afetiva.

Alguns exemplos do poder do big data:

Em 2009 o vírus H1N1, da gripe aviária, começou a se espalhar pelo mundo. Preocupados com uma possibilidade de pandemia os Centros de Controle de Prevenção de Doenças (Centers for Disease Control), nos Estados Unidos, solicitaram que os médicos americanos informassem sobre qualquer novo caso da doença, a fim de que se pudesse mapear seu alastramento. Mas a defasagem das informações era de uma a duas semanas. Isso porque o centro de dados dos CDCs só conseguia processar as informações uma vez por semana. E, claro, essa defasagem era terrivelmente demorada para a urgência do problema. Quem acabou solucionando a questão foi o Google, que ao cruzar mais de 50 milhões de termos de busca dos internautas, relativos à doença, conseguiram detectar com defasagem de apenas 24 horas os focos de pessoas infectadas em território americano. E isso foi fator decisivo para controle da doença no Estados Unidos.

Em 2003 o americano Oren Etzione, após ter comprado uma passagem aérea pela internet meses antes de viajar, justamente para pagar menos, descobriu durante o vôo que outros passageiros haviam comprado suas passagens, com muito menor antecedência, pagando bem menos. Essa sensação de ter sido prejudicado o levou a buscar uma amostragem, num site de viagens, de doze mil preços de passagens durante 41 dias. E com essas informações criou um modelo de previsão de preços de bilhetes, que depois se transformou na startup Farecast. A partir de seu modelo de captação e cruzamento de dados ele passou a acertar, isso já em 2012, até 75% das previsões sobre o aumento ou diminuição de preços de passagens, dependendo do dia da compra. O que levou seus clientes a economizarem em média 50 dólares por passagem. O cruzamento das informações, em 2012 chegando a 200 bilhões de registros, não o levava a saber o porque da alta ou queda do valor das passagens. Mas ele sabia o que e quando acontecia. E nessa mesma época vendeu sua empresa para a Microsoft por cerca de U$ 110 milhões.

O big data possibilitou a existência do Google Translator a partir de um banco de dados de um trilhão de palavras, 95 bilhões de frases, em mais de 60 idiomas. E o sistema é em muitos aspectos auto-aperfeiçoador, com a ajuda dos próprios internautas, mesmo quando escrevem - e por isso mesmo - palavras e frases erradas. Sim, o big data não só aceita o erro, o caos e o paradoxo como deles se utiliza para fornecer dados sobre "o que acontece".

A Amazon não sabe exatamente porque um leitor que gosta de Ernest Hemingway tende a gostar também de F. Scott Fitzgerald, mas seus cruzamentos de bilhões de dados, lidos por algoritmos, dizem que isso acontece. E esse modelo substitui muito mais êxito o sistema anterior de recomendação da Amazon, que antes se utilizava de simples segmentação. Ou seja, se você comprasse um livro sobre música, sua página seria inundada de ofertas de livros de música e arte.

O Wallmart descobriu com o big data que quando aproximava-se a temporada de furacões nos Estados Unidos, os americanos compravam muito mais Pop-Tarts, um doce típico americano. E, claro, passou a encher as prateleiras da frente das lojas com esse tipo de doce quando aumentavam as tempestades.

A Kaggle, empresa que organiza competições de captação de dados, e em 2012 organizou um desses eventos sobre que tipos de carros vendidos em leilão poderiam apresentar problemas, descobriu que carros da cor laranja têm metade da propensão de quebras que os carros de outras cores.

O big data não enxerga causalidades mas muitas vezes sabe o que acontece. E felizmente sua utilização não é apenas para comércio - embora em grande parte ainda seja. A Dra. Carolyn McGregor, do Institute of Technology da University of Ontário, trabalhou junto à IBM num software que ao analisar 1.260 pontos de dados por segundo de bebês prematuros, consegue prever uma infecção com até 24 horas de antecedência. A explosão de bueiros em Manhattan foi diminuída drasticamente a partir da análise de big data.

Estes são apenas alguns exemplos, entre milhares, que neste momento estão transformando drasticamente o mundo em que vivemos. E ainda há muito por vir. A partir do big data muitas profissões desaparecerão e outras serão criadas. Nossas vidas serão devassadas pelo comércio. Mas certamente poderemos num futuro próximo utilizar o big data de forma caseira, para fazer qualquer tipo de pesquisa, de auto-avaliações, de auto-exames, para extrair múltiplos tipos de leitura de um mesmo banco de dados. A criatividade e a subjetividade humanas poderão ser ameaças pela ditadura dos dados. Poderão advir, no entanto, novíssimas perspectivas criativas e novos modos de se existir neste mundo. Claro, a força das grandes corporações é quase ilimitada. Mas nosso pensamento também pode ser.

O big data nos dá um aviso: para prepararmo-nos, de modo apenas razoável, para essa nova configuração mundial de transformações exponenciais e radicais, teremos que pensar à frente, por nós mesmos, de forma aberta, radial, global, flexível, cultural, sem jamais deixar de buscar tanto conhecimentos mais antigos, que formaram nossos padrões de comportamentos e valores, quanto os mais recentes, gerados na atualidade. Mas, ainda os que potencialmente estão para eclodir.

Magno Mello


*fonte: Big Data, como extrair volume, variedade, velocidade e valor da avalanche de informação cotidiana - Viktor Mayer-Schönberger e Kenneth Cukier