Definicion de Big Data

 

 

DEFINICION DE BIG DATA

P á g i n a 1 | 11  11 

DEFINICION BIG DATA

 

  INTRODUCCION Con la aparición de Internet en la vida cotidiana, han llegaron nuevos conceptos que con el tiempo se han vuelto de uso cotidiano y que nos acompañan en nuestro día a día. Muchos de ellos han repercutido para bien en nuestras vidas y casi no podemos entender las nuevas tecnologías sin estas geniales ideas. Uno de estos conceptos que han resonado mucho últimamente es Big Data; aunque como ya ha pasado en anteriores ocasiones, se ha creado un halo de escepticismo y desconfianza en torno a todo lo que lo rodea. Hay muchas dudas en cuanto a su concepto, uso y alcance; de esta manera mane ra se crea un ambiente de recelo aparejado a algo que no podemos tocar, controlar y que, sobre todo, que puede atentar nuestra privacidad. Se le llama de muchas maneras, Big data, macrodatos, datos masivos, inteligencia de datos o datos a gran escala. Todos son términos que hacen referencia a conjuntos de datos tan grandes que q ue aplicaciones informáticas tradicionales de procesamiento de datos no son suficientes para tratar con ellos y los procedimientos utilizados para encontrar patrones repetitivos dentro de esos datos. Big Data es un término que describe el gran volumen de datos, tanto estructurados como no estructurados, que inundan los negocios cada día. Pero no es la cantidad de datos lo que es importante. Lo que importa con el Big Data es lo que las organizaciones hacen con esos datos. En Big Data se puede pu ede analizar esos datos para obtener ideas que conduzcan a mejores decisiones y movimientos de negocios estratégicos.  Con esto podríamos decir que Big Data es un término que se refiere a cualquier cantidad voluminosa de datos estructurados, semiestructur ados ados y no estructurados “que tienen el  potencial de ser extraídos para para obtener información”  

La disciplina dedicada a los datos masivos se enmarca en el sector de las tecnologías de la información y la comunicación. Esta disciplina se ocupa de todas las actividades relacionadas con los sistemas que manipulan grandes conjuntos de datos.  Las dificultades más habituales vinculadas a la gestión de estas cantidades de datos se centran en la recolección y el almacenamiento, búsqueda, compartición, compartición, análisi análisis, s, y visu visualización. alización. P á g i n a 2 | 11  11 

DEFINICION BIG DATA

 

La tendencia a manipular enormes cantidades de datos se debe a la necesidad en muchos casos de incluir dicha información para la creación de informes estadísticos y modelos predictivos utilizados en diversas materias, como los análisis de negocio, publicitarios, los datos de enfermedades infecciosas, el espionaje y seguimiento a la población o la lucha contra el crimen organizado.  El término de "Big Data" o "Macrodatos", es muy conocido en la actualidad gracias a las empresas de marketing, la mayoría de la población que usa internet frecuentemente cree que es una nueva tecnología, teniendo en cuenta que existe desde hace ya unos años , fecha que coincide con la aparición masiva de datos en internet. El límite superior de procesamiento ha ido creciendo a lo largo de los años. Se estima que el mundo almacenó unos 5 zettabytes en 2014. Si se pusiera esta información en libros, convirtiendo las imágenes y todo el contenido a su equivalente en letras, se podrían hacer 4500 pilas de libros que llegasen hasta el sol. Los científicos con cierta regularidad encuentran límites en el análisis debido a la gran cantidad de datos en ciertas áreas, tales como la meteorología, la genómica, las complejas simulaciones de procesos pr ocesos físicos y las investigaciones relacionadas con los procesos biológicos y ambientales. Si habláramos de áreas que nos tocan más de cerca, estas limitaciones también afectan a los motores de búsqueda en internet, a los sistemas finanzas y a la informática de negocios. Los data sets crecen en volumen debido en parte a la recolección masiva de información procedente de los sensores inalámbricos y los dispositivos móviles, el constante crecimiento de los históricos de aplicaciones (por ejemplo de los registros), cámaras (sistemas de teledetección), micrófonos, lectores de identificación por radiofrecuencia. La capacidad tecnológica per cápita a nivel mundial para almacenar datos se dobla aproximadamente cada cuarenta meses desde los años 1980. Se estima que en 2012 cada día fueron creados cerca de 2.5 trillones de bytes de datos. 

P á g i n a 3 | 11  11 

DEFINICION BIG DATA

 

 

  DEFINICION Big data o macrodatos es un término que hace hac e referencia a una cantidad de datos tal que supera la capacidad del software convencional para ser capturados, administrados y procesados en un tiempo razonable.

“Cuando hablamos de Big Data nos re re ferimos  ferimos a conjuntos de de datos o combinaciones de conjuntos de datos cuyo tamaño (volumen), complejidad (variabilidad) y velocidad de crecimiento (velocidad) dificultan su captura, gestión, procesamiento o análisis mediante tecnologías y herramientas convencionales”  convenc ionales”  

Cuando hablamos de tecnologías y herramientas herr amientas convencionales, nos referimos a bases de datos relacionales y a la obtención de estadísticas convencionales o paquetes de visualización, dentro del tiempo necesario necesar io para que sean útiles. Tengamos en cuenta que el conjunto de datos es tan grande y complejo que estos medios son ineficaces. Y es que estamos hablando de desafíos como analizar, capturar, recolectar, buscar, compartir, almacenar, transferir, visualizar, etc., ingentes cantidades de información, obtener conocimiento en tiempo real y poner todos los sentidos en la protección de datos personales. El tamaño para albergar todo el proceso ha ido aumentando constantemente para poder recopilar e integrar toda la información.  Aunque el tamaño utilizado para determinar si un conjunto de datos determinado se considera Big Data no está firmemente definido y sigue cambiando con el tiempo, la mayoría de los analistas y profesionales actualmente se refieren a conjuntos de datos que van desde 30-50 30 -50 Terabytes a varios Petabytes. Esto es así, debido a que El volumen de los datos masivos crece constantemente. En 2012 se estimaba su tamaño de entre una docena de terabytes hasta varios petabytes de datos en un único conjunto de datos. Pongamos como punto de referencia todos los boletos y los premios entregados de la administración de lotería nacional a lo largo de toda su historia, que se puede almacenar fácilmente en una base de datos, pero no lo suficientemente grande como para ser considerada Big Data.   La naturaleza compleja del Big Data se debe principalmente p rincipalmente a la naturaleza no estructurada de gran parte de los datos generados por las tecnologías modernas, como como los web logs, la identificaci identificación ón por radiofrecuencia (RFID), los sensores incorporados en dispositivos, la maquinaria, los vehículos, las búsquedas en Internet, las redes sociales como Facebook, computadoras P á g i n a 4 | 11  11 

DEFINICION BIG DATA

 

portátiles, teléfonos inteligentes y otros teléfonos móviles, dispositivos GPS y registros de centros de llamadas. 

 

En la mayoría de los casos, con el fin de utilizar eficazmente el Big Data, debe combinarse con datos estructurados (normalmente de una base de datos relacional) de una aplicación comercial más convencional, como un ERP (Enterprise Resource Planning) o un CRM (Customer Relationship Management).   Big Data es el avance tecnológico enfocado en el entendimiento y toma de decisiones, además de ser una metodología para almacenar y procesar datos, estructurados o semiestructurados, los cuales serían muy difícil de almacenar en una base de datos y posteriormente analizarlos. Ahora vamos a ver un poco la evolución de la información a lo largo de la historia, para tratar de ser más conscientes de como todo ha ido llegando al punto en el que nos encontramos ahora.

EVOLUCION DE LA INFORMACION A LO LARGO DE LA HISTORIA 18000 AEC . En el Paleolítico Superior se empleaban métodos rudimentarios de almacenamiento con el empleo de palos o muescas en huesos. Con este

sistema, se podía llevar cuenta de provisiones, realizar cálculos básicos e incluso predecir necesidades de comida para el grupo. Quizá sea demasiado incluirlo en la historia del big data, pero es el primer momento documentado en el que la humanidad se interesa por los datos: el germen g ermen de todo lo que viene después. Si bien las cantidades no podían ser muy grandes, es la primera evidencia del interés por recopilar, contar y guardar datos. 2400 AC . En Babilonia se extiende el uso del ábaco, un sistema para realizar

cálculos. En esta época surgen también las primeras bibliotecas como lugares para almacenar y consultar conocimiento.

Siglo II AC . Se desarrolla la primera computadora mecánica conocida en Grecia. El mecanismo de Anticitera era un aparato analógico an alógico de bronce diseñado para predecir posiciones astronómicas, probablemente una evolución de

otros sistemas que no se han recuperado a día de hoy. Se empleó para el P á g i n a 5 | 11  11 

DEFINICION BIG DATA

 

estudio astrológico y para marcar el calendario, fundamentalmente las fechas exactas de los antiguos Juegos griegos. 48 AC . Los Romanos invaden Alejandría y accidentalmente destruyen su famosa

biblioteca. Parte de los fondos se trasladaron a otros lugares, pero la mayoría de la colección fue quemada, perdida o robada. Hasta el momento, había logrado reunir medio millón de documentos con la intención de almacenar todo el conocimiento  de la Humanidad. 1663. John Graunt realiza el primer experimento de  análisis de datos  estadísticos conocido. Con los datos de defunciones, teoriza un sistema de alerta para la peste bubónica en toda Europa. 1792. Aunque hay constancia de análisis estadísticos e stadísticos desde las Guerras del Peloponeso y la palabra estadística se acuña en Alemania unos años antes; en 1792 se asocia el término a la “colección y clasificación de datos“.  1865. Aparece por primera vez el término business intelligence, en la

enciclopedia comercial de Richard Millar Devens. En ella describe cómo el banquero Henry Furnese logró una importante ventaja competitiva recogiendo, estructurando y analizando datos clave demotores su actividad. inteligencia de negocio es sin duda uno de los grandes de laLa analítica dentro de la historia del big data. 1880 . Herman Hollerith, empleado del censo estadounidense, desarrolla su máquina tabuladora (una especie de computador que funciona con tarjetas perforadas). Con ella consigue reducir un trabajo de 10 años a 3

meses. Este ingeniero funda una compañía que posteriormente se conocería como IBM. 1926. Nikola Tesla predice la tecnología inalámbrica. Según su visión, el planeta

en un gran cerebro en el que todo está conectado, por lo que deberíamos ser capaces simplificar el uso del teléfono. Predice que cada hombre llevará uno en su propio bolsillo. 1928 . El ingeniero alemán Fritz Pfleumer patenta el primer sistema magnético para almacenar datos. Sus principios de funcionamiento se utilizan hoy en día. 1944. Primer intento de conocer la cantidad información  que se crea. Se trata

de un estudio académico de Fremont Rider, que pronostica 200 millones de libros en la Universidad de Yale en 2040, almacenados 6.000 millas de estanterías. 1958 . El informático alemán Hans Peter Luhn, define la inteligencia de negocio:

la habilidad de percibir las interrelaciones de los hechos presentados para P á g i n a 6 | 11  11 

DEFINICION BIG DATA

 

 

guiar acciones hacia un objetivo deseado. En 1941 pasó a ser Gerente de Recuperación de Información en IBM. 1962. Se presenta IBM Shoebox en la Expo de 1962. Creada por William C. Dersch supone el primer paso en el reconocimiento de voz, capaz de

registrar palabras en inglés en formato digital. 1965. Se proyecta el primer data center  en  en Estados Unidos, para guardar

documentación de impuestos y huellas dactilares en cintas magnéticas. Un año antes comienzan a surgir voces que alertan del problema de guardar la ingente cantidad de datos generada. 1970 . IBM desarrolla el modelo relacional de base de datos , gracias al

matemático Edgar F. Codd. Este científico inglés es también responsable de las doce leyes del procesamiento analítico informático y acuño el término OLAP. 1976. Se populariza el uso de MRP (software de gestión de materiales), antecedentes de los ERP actuales, que mejoran la eficiencia de las

operaciones en la empresa; además de generar, almacenar y distribuir datos en toda la organización. 1989. Erik Larson habla por primera vez de Big Data en el sentido que conocemos la expresión hoy en día. La revista Harpers Magazine recoge su artículo, en el que especula sobre el origen del correo basura que recibe. En torno a este año se empiezan a popularizar las herramientas de business intelligence para analizar la actividad comercial y el rendimiento de las operaciones. 1991. Nace internet, a la postre, la gran revolución de la recolección,

almacenamiento y análisis de datos. Tim Berners-Lee establece las especificaciones de un sistema de red con interconexiones a nivel mundial accesible para todos en cualquier lugar. 1993. Se funda QlikTech, germen de la actual Qlik, actual  Qlik, que  que crea un sistema

revolucionario de business intelligence (en 2012, Gartner comienza a hablar de business discovery para definir ese tipo de análisis). 1996. Los precios del almacenamiento de datos empiezan a ser accesibles con

un coste eficiente en lo que es una de las grandes gr andes revoluciones en la historia del big data. El libro La evolución de los sistemas de almacenamiento, de 2003, establece esta fecha como el primer año en el que el almacenamiento digital es más barato que el papel. 1997 . Google lanza su sistema de búsqueda en internet y en los siguientes años

será de largo el primer lugar al que acudir en busca de datos en internet. Este mismo año, se publica el estudio ¿Cuánta información hay en el P á g i n a 7 | 11  11 

DEFINICION BIG DATA

 

 

mundo? , de Michael Lesk. La conclusión es que hay tanta y crece cr ece a tal

velocidad, que gran parte de ella no será vista por nadie jamás. 1999. El término Big Data es analizado por primera vez en un estudio académico. La Asociación de Sistemas Informáticos recomienda centrarse

en el análisis de información ya que existe gran cantidad de datos y no todos son útiles. Recuerdan el propósito de la computación, que es el entendimiento, no los números. 2001. Doug Laney, de Gartner, define las 3 V’s del Big Data. Este es un hito clave en la historia del big data. Se trata de tres conceptos que definen el término: volumen, velocidad y variedad. 2005. Nace la Web 2.0, una web donde predomina el contenido creado por los

usuarios. Este mismo año se crea Hadoop, un entorno de trabajo Big Data de software libre. 2007. La revista Wired publica un artículo que lleva el concepto de Big Data a las masas. 2010 . Los datos que se generan en dos días equivalen a la cantidad de datos generados desde el inicio de la civilización hasta 2003, según Eric Schmidt

(Google). 2013. El archivo de mensajes públicos de Twitter en la Biblioteca del Congreso

de Estados Unidos llega a los 170 billones de mensajes, creciendo a ritmo de 500 millones al día. Según la institución que alberga algunos de los documentos históricos más importantes del mundo, dicho archivo ofrece una imagen más amplia de las normas culturales, diálogos, tendencias y eventos de hoy en día. De este modo, contribuye a una mejora de la información en procesos legislativos, educación, definición de autoría de nuevos trabajos y otras cuestiones. 2014.casi móviles superan  Los continua a los ordenadores en accesos a internet. contribuye a generar muchos más datos y mejoraLa la conexión

conectividad con otros dispositivos. 2016. El Big Data se convierte en la palabra de moda. Se generaliza la

contratación de expertos en Big Data, el Machine Learning llega a las fábricas y el Internet de las Cosas empieza a impregnarlo todo. 2017 . Los datos llegan a las masas. La gente controla sus patrones de descanso

con pulseras, sabe en qué se gasta el dinero con aplicaciones móviles y se informa sobre la posesión de balón de su equipo de fútbol. Los datos están en todas partes y la población está ya predispuesta a usarlos. Futuro. ¿Qué nos deparará el futuro? Muy difícil de pronosticar, pero

seguramente un aumento de datos y la consiguiente necesidad de P á g i n a 8 | 11  11 

DEFINICION BIG DATA

 

 

tecnología para recogerlos, adaptarlos, almacenarlos y analizarlos. La computación cuántica está a la vuelta de la esquina y la historia del big data sigue avanzando. 

¿POR QUE EL BIG DATA ES TAN IMPORTANTE? Lo que hace que Big Data sea tan útil para muchas empresas es el hecho de que proporciona respuestas a muchas preguntas que las empresas ni siquiera sabían que tenían. En otras palabras, proporciona un punto de referencia. refe rencia. Con una cantidad tan grande de información, los datos pueden ser moldeados o probados de cualquier manera que la empresa considere adecuada. Al hacerlo, las organizaciones son capaces de identificar los problemas de una forma más comprensible.  La recopilación de grandes cantidades de datos y la búsqueda de tendencias dentro de los datos permiten que las empresas se muevan mucho más rápidamente, sin problemas y de manera eficiente. También les permite eliminar las áreas problemáticas antes de que los problemas acaben con sus beneficios o su reputación.  El análisis de Big Data ayuda a las organizaciones a aprovechar sus datos y utilizarlos para identificar nuevas oportunidades. Eso, a su vez, conduce a movimientos de negocios más inteligentes, operaciones más eficientes, mayores ganancias y clientes más felices.  Las empresas con más éxito con Big Data consiguen valor de las siguientes formas:  

 Reducción de coste. Las grandes tecnologías de datos, como Hadoop y el

análisis basado en la nube, aportan importantes ventajas en términos de costes cuando se trata de almacenar grandes cantidades de datos, además de identificar maneras más eficientes de hacer negocios.  negocios.   

 Más rápido, mejor toma de decisiones . Con la velocidad de Hadoop de Hadoop y la

analítica en memoria, combinada con la capacidad de analizar nuevas fuentes de datos, las empresas pueden analizar la información inmediatamente y tomar decisiones basadas en lo que han aprendido.  aprendido.   

 Nuevos productos y servicios . Con la capacidad de medir las necesidades

de los clientes y la satisfacción a través de análisis viene el poder de dar a los clientes lo que quieren. Con la analítica de Big Data, más empresas están creando nuevos productos para satisfacer las necesidades de los clientes.  clientes.  Por ejemplo:

 

P á g i n a 9 | 11  11 

DEFINICION BIG DATA

 

 



 Turismo: Mantener felices a los clientes es clave para la industria del

turismo, pero la satisfacción del cliente puede ser difícil de medir, especialmente en el momento oportuno. Resorts y casinos, por ejemplo, sólo tienen una pequeña oportunidad de dar la vuelta a una mala experiencia de cliente. El análisis de Big data ofrece a estas empresas la capacidad de recopilar datos de los clientes, aplicar análisis e identificar inmediatamente posibles problemas antes de que sea demasiado tarde.  tarde.  

 Cuidado de la salud: El Big Data aparece en grandes cantidades en la

industria sanitaria. Los registros de pacientes, planes de salud, información de seguros y otros tipos de información pueden ser difíciles de manejar, pero están llenos de información clave una vez que se aplican las analíticas. Es por eso que la tecnología de análisis de datos es tan importante para el cuidado de la salud. Al analizar grandes cantidades de información - tanto estructurada como no estructurada rápidamente, se pueden proporcionar diagnósticos u opciones de tratamiento casi de inmediato.  inmediato.   

 Administración: La administración se encuentra ante un gran desafío:

mantener la calidad y la productividad con unos presupuestos ajustados. Esto es particularmente problemático con lo relacionado con la justicia. La tecnología agiliza las operaciones mientras que da a la administración una visión más holística de la actividad. a ctividad.  



 Comercio Minorista: El servicio al cliente ha evolucionado en los últimos

años, ya que los compradores más inteligentes esperan que los minoristas comprendan exactamente lo que necesitan, cuando lo necesitan. El Big Data ayuda a los minoristas a satisfacer esas demandas. Armados con cantidades interminables de datos de programas de fidelización de clientes, hábitos de compra y otras fuentes, los minoristas no sólo tienen una comprensión profunda de sus clientes, sino que también pueden predecir tendencias, recomendar nuevos productos y aumentar la rentabilidad.  rentabilidad.  

 Empresas manufactureras: Estas despliegan sensores en sus productos

para recibir datos de telemetría. A veces esto se utiliza para ofrecer servicios de comunicaciones, seguridad y navegación. Ésta telemetría también revela patrones de uso, tasas de fracaso y otras oportunidades de mejora de productos que pueden reducir los costos de desarrollo y montaje.   montaje. 

 Publicidad: La proliferación de

teléfonos inteligentes y otros dispositivos GPS ofrece a los anunciantes la oportunidad de dirigirse a los P á g i n a 10 | 11  11 

DEFINICION BIG DATA

 

 

consumidores cuando están cerca de una tienda, una cafetería o un restaurante. Esto abre nuevos ingresos para los proveedores de servicios y ofrece a muchas empresas la oportunidad de conseguir nuevos prospectos.  prospectos.  

 

 Otros ejemplos del uso efectivo de Big Data existen en las siguientes

áreas:  áreas:   

Uso de registros de logs de TI para mejorar la resolución de problemas de TI, así como la detección de infracciones de seguridad, velocidad, eficacia y prevención de sucesos futuros.  futuros.  

 

Uso de la voluminosa información histórica de un Call Center de forma rápida, con el fin de mejorar la interacción con el cliente y aumentar su satisfacción.  satisfacción. 

 

Uso de contenido de medios sociales para mejorar y comprender más rápidamente el sentimiento del cliente y mejorar los productos, los servicios y la interacción con el cliente.   cliente.

 

Detección y prevención de fraudes en cualquier industria que procese transacciones financieras online, tales como compras, actividades bancarias, inversiones, seguros y atención médica.  médica.  

 

Uso de información de transacciones de mercados financieros para evaluar más rápidamente el riesgo y tomar medidas correctivas.   correctivas.

o

o

o

o

o

P á g i n a 11 | 11  11 

DEFINICION BIG DATA