tema1 Big data UNIR
Short Description
Introducción a Big Data y su aplicación educativa...
Description
Introducción Introducción al Big al Big Data y Data y su aplicación en la educación [1.1] ¿Cómo estudiar este tema? [1.2] Introducción [1.3] ¿Qué es Big es Big Data? Data? [1.4] Tratamiento de la información [1.5] Tecnologías de Big de Big Data [1.6] Infraestructura del Big del Big Data [1.7] Herramientas de Big de Big Data [1.8] Big [1.8] Big data en data en la educación [1.9] Características de Big de Big Data en Data en la educación
1
[1.10] Referencias bibliográficas
T
E
M
A
Del Dato ( Big Data) Data) a la Información (Internet)
Esquema
- n a ó t i a c D a c g u i d B E
n ó i c a c u d e a l n e n ó i c a c i l p a u s y a t a D g i B
l a n ó i c c u d o r t n I
s o t a d e d a í r e n i M
e e d j a z s i i d s i n l á e n r A p a
a t a D g i B
s o s d o t c a n e o y i o c r l a P e r
s s o e t l a a d n e o d i c a s r e s e a p B o
e d n s ó a t i c n a e z i i n m a a g r r r e o H
s e l a n o i c a r e p O
s a c i t í l a n A
s a í g o l o n c e T
o n t i n ó e a c i l a m e m a d r t o a f r n T i
n ó i c i n i f e D
TEMA 1 – Esquema
s e t n e n o p m o C
s a t p n o e o i d m a a r H r e H a r u t c u r t s e a r f n I
n s e a c a n i t t ó i s a í c r D a e c t g c i u a B d r e a l e C d
e s u o h e r a w a t a D
s a t s n a e c i i t í m a l a r n r a e H
e d n s ó a t i c n a e z i l i a m a s u r r i e v H
a r u t p a C
o t n e i m a n e c a m l A
a d e u q s ú B
r i t r a p m o C
n ó i c a z i l a u s i V
n e m u l o V
d a d e i r a V
d a d i c o l e V
2
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) Data) a la Información (Internet)
Ideas clave 1.1. ¿Cómo estudiar este tema? Para estudiar este tema lee y estudia las ideas clave desarrolladas clave desarrolladas en estos apuntes.
En este tema se va a plantear el concepto de Big de Big Data, Data, atendiendo a: La definición de los conceptos asociados a Big a Big Data. Estructura de Big de Big Data genérico. Aplicación del Big del Big Data a Data a la educación. Las tecnologías existentes que implementan Big Data.
1.2. Introducción En la actualidad nos vemos inmersos en una gran cantidad de datos que proceden de muy diversos lugares: correos electrónicos, noticias de televisión y de prensa, calificaciones de exámenes, etc., y ninguno de nosotros estamos exentos de tener que manejarlos, ni siquiera los más pequeños. Dichas fuentes pueden ser más o menos fiables y hay que saber cómo discriminarlas, tratarlas y organizarlas. Para ello es necesario que se utilicen herramientas y conocimientos para que los datos puedan ser discriminados y procesados correctamente. Podemos analizarlo desde el punto de vista humano, y si hay casos en los que para los profesores no les es sencillo su manejo, tampoco lo es para aquellos estudiantes que o no se les ha dado a conocer los instrumentos o no han adquirido las habilidades necesarias para poder manejarlas. Si se traslada este problema a grandes organizaciones, en las que la información es un factor decisivo para el éxito o fracaso de su s proyectos, puede llegar a ser el factor clave que haga que los proyectos sean o no realizables. Y es en estas organizaciones donde surge el concepto de grandes volúmenes de datos, datos, también conocido como Big como Big Data. Data.
TEMA 1 – Ideas clave
3
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
En este tema vamos a tratar y exponer cuáles son los conceptos básicos del tratamiento de información, los datos masivos y dónde podemos encontrar esos datos en la actualidad.
1.3. ¿Qué es Big Data? Para entender qué es Big Data es necesario comprender qué es un dato. Un dato puede definirse como: «Antecedente necesario para llegar al conocimiento exacto de algo o para deducir las consecuencias legítimas de un hecho» ( RAE , 2012). Definición que remarca el hecho de que un dato es aquello que nos facilitará el llegar al conocimiento. Pero el mismo diccionario incorpora una referencia al término dato pero relacionado con las tecnologías de la información: «Información dispuesta de manera adecuada para su tratamiento por un ordenador». Es decir, que si unificamos las dos definiciones, se puede decir que los datos incorporados en un sistema informático nos facilitan herramientas para que la manipulación de los mismos nos permita llegar a un conocimiento exacto. Por otro lado, tenemos el concepto «big», que hace referencia a una gran cantidad. Pero, como veremos en los próximos puntos, no solo va a hacer referencia a la cantidad de datos sino que ha ido incorporando más términos a lo largo del tiempo. El concepto de Big Data fue introducido por primera vez por Roger Magoulas de O’Reilly en 2005, y lo hizo para definir aquella gran cantidad de datos que no podía gestionarse por medio de técnicas y procesos tradicionales debido a su complejidad y tamaño. A partir de esa definición, el concepto de Big Data se estudió desde distintos puntos de vista, ya que permitió indagar en las implicaciones que existían desde los distintos campos involucrados. Así se observó que Big Data constaba de tres facetas diferentes, denominadas las tres V de Big Data:
Volumen
Variedad
TEMA 1 – Ideas clave
Velocidad
4
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Volumen: se refiere a que Big Data implica el manejo de una gran cantidad de datos que servirá para generar información, que a su vez, se utilizará para generar conocimiento. Los datos informáticos se miden en bit, que es la unidad mínima de información. Un bit almacena un cero o un uno. La siguiente unidad de medida es el byte que corresponden a 8 bits. Es la unidad que en un primer momento se utilizó para el almacenamiento de caracteres, un carácter para poder ser almacenado en una memoria de ordenador se tuvo que traducir a ceros y unos con lo que se utilizaron 8 bits. Por ejemplo, para representar el carácter A en binario utilizaría un byte, representado en binario por 0100 0001 y, su correspondiente representación en decimal, 65. De estas dos unidades surgen las demás unidades que corresponden con:
Unidades de medidas de información Unidad de medida
Tamaño
Bit
Un dígito binario. Es un uno o un cero
Byte
8 bits
Kilobyte (KB)
1024 bytes
Megabyte (MB)
1024 kilobytes
Gigabyte (GB)
1024 megabytes
Terabyte (TB)
1024 gigabytes
Petabyte (PB)
1024 terabytes
Exabyte (EB)
1024 petabytes
Zettabyte (ZB)
1024 exabyte
Yottabyte
1024 zettabyte
Brontobyte
1024 yottabyte
Una vez vistas las unidades que pueden utilizarse para medir la información se puede describir con precisión las expectativas de utilización de datos en la red. El volumen de información que está previsto que exista en la red es de exabytes al mes, más exactamente 24,3 exabytes, como indica CISCO VIN Mobile en la previsión del año 2015:
TEMA 1 – Ideas clave
5
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Cisco Visual Networking Index: Global Mobile Data Traffic Forecast Update 2014 –2019 White Paper (3 de Febrero de 2015). Fuente: http://www.cisco.com/c/en/us/solutions/collateral/service-provider/visual-networkingindex-vni/white_paper_c11-520862.html
Velocidad: todo tratamiento de datos Big Data va a implicar un tiempo de tratamiento, por lo que la velocidad de ese tratamiento debe ser la más pequeña posible ya que esa información tiene validez únicamente si se trata en tiempo real. Un ejemplo se puede encontrar en el caso de entornos de la bolsa: si se quisiese realizar una compra o venta de acciones en respuesta a un movimiento de otras acciones también disponibles en bolsa, no tendría sentido si los datos de compra o venta se obtuviesen un día después de haber obtenido la información de partida. El sistema utilizado para obtener la respuesta no sería eficiente. En este caso cuanta mayor velocidad mayor eficiencia. Variedad: los datos que se incluyen en Big Data son muy diversos y heterogéneos, pueden incluir tanto datos denominados estructurados, como no estructurados. Los datos estructurados son aquellos que están encorsetados en una estructura definida, como pueden ser los utilizados en las bases de datos (número decimal, carácter, bit, etc.); otro caso de datos estructurados, son los definidos a través de una estructura concreta, como son ficheros en los que los datos están separados por comas (CSV) pero siempre referidos a los mismos términos. Por ejemplo, si se tuviese un CSV con los datos de los empleados de una empresa, cada línea del archivo tendría cada uno de los datos de cada empleado en un orden. Este orden sería el que permitiría identificar cada uno de los datos de cada empleado, ya que siempre aparecería, por ejemplo, primero el nombre, luego la dirección, y siempre en el mismo orden.
TEMA 1 – Ideas clave
6
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Los datos no estructurados son aquellos que no tienen una estructura definida, como pueden ser imágenes, vídeos o ficheros de sonido. Los datos que pueden aparecer en un almacenamiento masivo son variables y podrían ser desde imágenes, registros de actividad de usuarios, hasta informes estadísticos, pasando por vídeos, textos o cualquier otro tipo de formato. A estas tres características básicas se han añadido a lo largo del tiempo y sucesivamente otras facetas o aspectos, como se observa en la siguiente figura:
Volumen
Velocidad
Valor
Veracidad
Variedad
Los términos de veracidad y valor se refieren a: Veracidad: está relacionada con el grado de confianza que se tiene en los datos almacenados para poder llevar a cabo una decisión. Si los datos de entrada son erróneos se hace complicado que los resultados obtenidos respecto a los mismos sean veraces. Valor: es el término asociado a cada dato para darle específicamente una significación, prioridad o magnitud. Como conclusión, podríamos decir que una fuente de datos será Big Data no tanto por la cantidad de información que vaya a contener, es decir, si tiene más o menos teras de datos, sino que se observarán otros aspectos como la variedad de datos que almacenará, el tiempo con el que se contará para su tratamiento, por lo que será necesario que sean
TEMA 1 – Ideas clave
7
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
tratados y transformados por ciertas herramientas para conseguir extraer información de los mismos. Esta característica hace que las definiciones de Big Data sean diferentes si se aplican a diversos sectores. Así, por ejemplo, en el mundo económico, un Big Data será cualquier almacenamiento que pueda dar un valor significativo a los datos que hagan que la productividad y la competitividad de la compañía permitan crear una venta competitiva ante sus clientes. Por el contrario, en el sector educativo, un Big Data será un almacenamiento de datos que permitan enfocar de manera individual el aprendizaje autónomo de los estudiantes.
1.4. Tratamiento de la información Big Data no trata solo el término de dato, sino que también está relacionada con las alternativas existentes en las técnicas que pueden mejorar el manejo de las tres/cinco V para que incrementen su valor. Por lo que estas V implican que exista un tratamiento de los datos enfocándose en distintos aspectos: El modo en el que se capturan los datos junto con la selección de los datos que se capturan. El modo de almacenamiento de los datos que han sido capturados. Una vez almacenados deberán existir herramientas que permitan una búsqueda adecuada de los datos. En el caso de que sea necesario, esos datos han de ser compartidos entre distintos entornos. El último aspecto a tener en cuenta cuando se tiene esa gran cantidad de datos es el modo en el que van a ser visualizados.
Captura
Almacenamiento
TEMA 1 – Ideas clave
Búsqueda
8
Compartir
Visualización
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Es decir, cada vez que se hace necesaria la extracción de resultados en base a los datos básicos, se hace necesaria una transformación que permita obtener conclusiones. El proceso básico de esa transformación es el siguiente: Partiendo de los datos sin tratar, lo que se hace es un preprocesado, para llevar a cabo una concreción de los mismos para que luego se pueda realizar un análisis de correlación que permita una extracción exhaustiva de información, y este último proporcionará una serie de resultados. El esquema básico está representado en el siguiente diagrama:
Datos sin procesar
Captura
Organización
Integración
Análisis
Resultados del análisis
Retos en el análisis Para que el proceso llegue a buen fin es necesario abordar una serie de retos. En cuanto a la captura, se hace necesario un control dependiendo del tipo de datos ya que las transformaciones que se tienen que aplicar en cada caso no son las mismas. Por ejemplo, la información que se debe tratar en una imagen y en un PDF es distinta. En un PDF se puede tener que realizar un análisis del tamaño según el número de páginas que contiene, que en una imagen nunca se podría realizar dado que no contiene número de páginas, pero por el contrario sí que existe un tamaño que será su dimensión, alto y ancho.
TEMA 1 – Ideas clave
9
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Cuando los datos preprocesados necesitan organización, en el proceso de análisis nos encontramos en muchos casos con que este proceso se debe realizar secuencialmente y que se hace necesaria una máquina con gran potencia de cálculo y gran cantidad de memoria que pueda soportarlo. En el sistema de integración de los datos tienen que tener las conexiones suficientes como para que se puedan enlazar y se puede hacer muy complejo si además los datos que se quieren enlazar son de formatos muy heterogéneos. También hay que tener en cuenta que cuando se realiza la correlación de los datos puede ocurrir que el tiempo para realizar la sincronización puede ser crítico en el procesamiento. En el proceso de análisis, también denominado data mining, hay que tener en cuenta que para la extracción de los resultados de información es necesario el uso modelos o patrones que hagan la extracción de información de esos datos, ya sea por su propia estructura o por sus conexiones.
1.5. Tecnologías de Big Data Las tecnologías de Big Data abarcan dos grandes tipos de campos: el campo operacional y el campo analítico, en ciertos ámbitos también denominados: tecnologías operacionales y tecnologías de la información. Las técnicas operacionales se centran en la carga en tiempo real e interactivo de datos capturándolos y almacenándolos. Y, por otro lado, las técnicas analíticas permiten el análisis en retrospectiva de datos complejos. Aunque estas dos tecnologías son dispares, se complementan para integrarse en herramientas que permiten el tratamiento masivo de datos, formando así lo que se conoce como arquitectura de las tecnologías Big Data.
Técnicas operacionales
TEMA 1 – Ideas clave
Técnicas analíticas
10
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Las exigencias que demandan cada una de estas herramientas son contrapuestas. En el caso de las herramientas operacionales es necesario que tengan un gran rendimiento, que permitan peticiones concurrentemente y que sean escalables, es decir, que puedan adaptarse a la cantidad de información demandada aunque sean varias las peticiones realizadas. En cambio, en las herramientas analíticas lo que se demanda es que sean capaces de gestionar consultas complejas con un rendimiento muy alto en su salida, dando sus resultados en tiempos mínimos.
1.6. Infraestructura del Big Data Para dar soporte al procesamiento de Big Data es necesario crear una infraestructura de componentes que permita su tratamiento. El esquema básico de esta infraestructura está expuesto a continuación:
Dispositivos hardware (ordenadores, teléfonos móviles, portátiles, tabletas, etc.) Aplicaciones Big Data Herramientas de creación de informes y de visualización Análisis (tradicional y avanzado) Data warehouses y herramientas analíticas Bases de datos y herramientas para la organización Datos estructurados y no estructurados en bases de datos operacionales
TEMA 1 – Ideas clave
11
e d d a a i c d i r n a u d g n e s u e d s d e r o e t s d a a t s d n a e t i n e m i a r r m e a r H r e H
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Datos estructurados y no estructurados en bases de datos operacionales Toda buena infraestructura de Big Data comienza con lo que se denominan las bases de datos operacionales. Estas son aquellas que van a contener toda la colección de datos que van a ser tratados posteriormente. Las características básicas de estas colecciones de datos es que deben ser: Rápidas: A una mayor rapidez en la gestión de los datos, el resto de herramientas dentro de la infraestructura trabajarán mejor y con resultados óptimos. Escalables: El tipo de información que puede aparecer en un Big Data es muy variable y puede variar con el tiempo, por lo que un sistema que permita adaptarse al tipo y cantidad de información será más versátil. Robustas: El tipo de entornos que se tiene que encontrar un almacenamiento masivo de información tiene que ser capaz de responder de manera eficiente a los posibles cambios que puedan surgir, incluso a los procesos de incertidumbre que se puedan encontrar. Permitiendo que la respuesta de información siga respondiendo a las peticiones aunque se produzcan fallos en el sistema. Dentro de las bases de datos operacionales se pueden encontrar aquellas que utilizan datos estructurados o datos no estructurados: Bases de datos operacionales con datos estructurados: son aquellas en las que los datos están organizados de manera que pueden accederse mediante un lenguaje estándar como puede ser SQL. La estructura más usual de estructuración es la utilización de tablas, denominándose bases de datos relacionales. Bases de datos operacionales con datos no estructurados: son aquellos almacenes de información que permiten guardar información sin una estructura estándar, como pueden ser documentos, ficheros, imágenes, vídeos, y permiten su acceso a través de lenguajes propios de acceso. Estas bases de datos a veces se denominan bases de datos no SQL.
TEMA 1 – Ideas clave
12
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Herramientas y servicios que permiten la organización de datos Las herramientas de organización permiten la validación y la estructuración de grandes cantidades de datos en agrupaciones de datos, denominadas colecciones. Al caracterizarse los Big Data por el volumen de datos que contienen, este tipo de herramientas deben poseer una serie de características en concreto. Estas características son: Sin errores: la clasificación y organización de información debe ser lo más exacta y correcta para que luego permita su extracción o búsqueda. Debe realizarse de la manera más eficiente para que se optimice la gestión de los datos masivos. Dentro de estas herramientas se encuentran: las herramientas ETL ( Extraction Transformation Load ) o herramientas de extracción, trasformación y carga de información, servicios de flujo de datos, servicios de serialización, sistemas de archivos distribuidos y servicios de coordinación; estos dos últimos utilizados para desarrollar sistemas que no se encuentran directamente en una máquina sino que se utilizan un conjunto de máquinas interconectadas que funcionan como una unidad. Data warehouses y herramientas de análisis Antes de que apareciese el concepto de Big Data para definir los grandes almacenes de información que tuviesen distintos orígenes de datos se utilizaba el concepto de data warehouse. Este concepto fue acuñado por Will Inmon, a principios de los años 90 y plasmado en su libro Building the Data Warehouse. Los data warehouse surgen para dar cabida a la información existente en los entornos corporativos, que necesitaban estructurar la información existente en sus centros de proceso de datos. Un data warehouse almacena la información con una estructura homogénea y permite dar una fiabilidad en las consultas y tratamientos posteriores a su incorporación. Las características propias de un data warehouse son: Normalización: Los datos normalizados se refieren a que están estructurados respecto a unas normas muy concretas.
TEMA 1 – Ideas clave
13
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Integración: Los datos almacenados dentro del data warehouse tienen la posibilidad de proceder de orígenes de datos distintos que se integran como si fuesen una unidad. Datos históricos: Suelen almacenar datos que evolucionan a lo largo del tiempo y permiten analizar el progreso de los mismos. No volátil: La carga de datos se realizará en un cierto momento y no se realizarán modificaciones, actualizaciones o borrados de la información contenida en el sistema. Consultas planificadas: aunque pueden realizarse consultas en un cierto momento, los data warehouse están diseñados para que puedan ejecutarse consultas planificadas. Un concepto asociado a los data warehouse es el de data mart . Las características de uno y otro son muy similares, tan solo se diferencian en que un data warehouse engloba la información de todo un sistema de información, y un data mart solo recoge parte de esta información. Si se aplican estos conceptos a una organización, un data warehouse sería la información relativa a toda la organización y en cambio un data mart podría ser solo la correspondiente a un solo departamento.
Datos
Datos de
Datos
clientes
operación
históricos
n ó i c a z i n a g r o l e v i N
Data warehouse
Data mart
Data mart
TEMA 1 – Ideas clave
Data mart
14
l a t n l e e m v a i t N r a p e d
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
La creación de un data mart puede estar motivada por una cuestión de seguridad; no se quiere que los empleados de un departamento puedan acceder a la información general de la empresa sino solo a la información relativa a su departamento. Para mejorar el acceso y eficiencia a los datos haciendo que sea una máquina diferente la que gestione los datos del data mart que la que gestiona la del data warehouse. O puede darse por razones coyunturales, por el esquema de la base de datos que se va a utilizar o porque es más adecuado para establecer los accesos de los usuarios. Otro concepto importante relacionado con los data warehouse son los metadatos. Un metadato es la estructura que pueden tener los datos. Va a ser el molde por el cual los datos van a organizarse y almacenarse dentro del data warehouse. De la definición de esos datos va a depender en gran medida la eficiencia posterior de la extracción de los datos. Además, esos metadatos van a proporcionar la normalización de los distintos orígenes de datos que el data warehouse necesita. Los data warehouses se asemejan a los Big Data por tratar grandes cantidades de información pero no son exactamente lo mismo. Las diferencias primordiales son las siguientes: Los datos que manejan los data warehouses son estructurados y almacenados para su posterior consulta. En el caso de los Big Data los datos son de orígenes dispares que van a necesitar un procesamiento previo para poder ser almacenados. El origen de los datos de un data warehouse proviene de la propia organización, en cambio en Big Data provienen tanto de fuera como de dentro de las organizaciones. Además, en este último suele dársele un carácter distribuido. En los data warehouse los datos se añaden de manera periódica al sistema, ya sea semanal o mensualmente. En cambio en Big Data los datos se suelen regenerar de manera íntegra en el sistema cada cierto tiempo. El análisis de los datos en un data warehouse se realiza sobre un entorno de datos estable. Pero en Big Data la estructura de los datos no está estandarizada por lo que el análisis de los modelos de información tiene que modificarse a lo largo del tiempo y conseguir cada vez una mejor adaptación a los mismos. Por este motivo, en Big Data se necesita un proceso de análisis con una mayor exigencia de memoria del sistema que en los sistemas de data warehouse.
TEMA 1 – Ideas clave
15
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Análisis de Big Data Tras haber depositado los datos dentro de un almacenamiento se hace necesario utilizar herramientas y técnicas que hagan que los datos tomen un sentido, adquieran un valor y se transformen en información. Son diversas las herramientas existentes y se pueden englobar en las siguientes: Herramientas de análisis y análisis avanzado: son herramientas que permiten extraer la información de los almacenes y hacer que sea comprensible al ser humano. Dentro de las herramientas de análisis existen las herramientas de análisis predictivo, que son aquellas que permiten tras el estudio de datos que han sucedido en un tiempo determinado predecir acontecimientos futuros. Se utiliza por ejemplo para la predicción de la evolución del mercado.
Predictive analytics | Forecasting in businessq. Autor: Hrvoje Smolic. Fuente: http://www.qualia.hr/predictive-analytics-forecasting-in-businessq/
Por otro lado, están las herramientas análisis de sentimiento o de opinión, que permiten extraer el contenido de un texto indicando realmente su sentido de la opinión o la subjetividad que quiere reflejar. Este tipo de herramientas permiten extraer de frases textuales como: «El acto principal fue espléndido», la positividad del mismo. Aunque tienen sus retos con frases como «El acto principal fue como se esperaba», en la que la opinión no queda realmente reflejada.
TEMA 1 – Ideas clave
16
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Sentiment Analysis: Blogmeter e Celi al Sentiment Symposium di New York. Autor: Laura Caldarella. Fuente: http://www.blogmeter.it/blog/eventi/2014/03/07/sentiment-analysis-speech-di-blogmeter-eceli-al-simposio-di-new-york/
Herramientas de generación de informes y paneles. Herramientas utilizadas para representar la información de manera que pueda ser fácilmente interpretada. Estas herramientas siempre se han utilizado cuando se han tenido que representar datos, pero se hace especialmente complejo cuando el número de datos a representar es excesivo, como es el caso de Big Data.
Sales dashboard II - Microsoft Dynamics NAV. Fuente: http://jetreports.com/es/bi-solutions/microsoft-dynamics-nav-dashboards-and-reports.php
TEMA 1 – Ideas clave
17
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Herramientas de visualización: estas herramientas son parecidas a los informes que permiten mostrar los datos de manera visual, pero su gran diferencia es que permiten actuar interactivamente con los datos y que esa visualización se pueda modificar de forma dinámica.
Microsoft Releases «Geoflow» For Excel, A 3D Big Data Visualization Tool Built On Bing Maps. Autor: Pradeep. Fuente: http://microsoft-news.com/microsoft-releases-geoflow-for-excel-a-3d-big-data visualization-tool-built-on-bing-maps/
Aplicaciones Big Data Son aplicaciones que, basándose en la arquitectura que se está describiendo, se crean para dar soporte a características que no son soportadas por las aplicaciones anteriores. En este caso, son aplicaciones que se adaptan a entornos concretos de la industria para dar soporte a problemas específicos. Herramientas de redundancia Las herramientas de redundancia permiten que el sistema pueda proporcionar el mismo sistema de respuesta aunque parte del sistema haya caído o se haya producido algún tipo de error. Consiste en duplicar parte o la totalidad del sistema co n sistemas paralelos que den soporte ante el fallo.
TEMA 1 – Ideas clave
18
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Esto no siempre es fácil de implementar, ya que supone que el sistema tenga que realizar una inversión superior para la adquisición de los equipos del sistema. Pero, dada la criticidad de este tipo de infraestructuras, supone una inversión menor que la inversión que supondría el daño producido por la pérdida de información. Por lo que estas inversiones siempre son muy recomendables. Normalmente se opta por solo duplicar aquellas partes que son más críticas, que al producirse cierto error provocará un fallo mayor en el sistema. Herramientas de seguridad Las herramientas de seguridad que se aplican a un sistema de Big Data no difieren mucho de los sistemas tradicionales. Es necesario por tanto establecer puntos de control de seguridad dependiendo de las necesidades de implantación del Big Data y totalmente dependientes de la arquitectura del mismo. Los puntos más críticos de actuación en cuanto a la seguridad son: A nivel de las bases de datos operaciones se tendrá en cuenta la encriptación y cifrado de la información siempre que sea sensible. En cuanto a las herramientas analíticas se tendrán que configurar los accesos a los datos respecto a niveles de acceso y permisos de usuario. Las aplicaciones desarrolladas tendrán que predecir los accesos que se realizarán al sistema Big Data. Si a los sistemas de Big Data se accede a través de distintos dispositivos, serán necesarios sistemas de encriptación de comunicaciones y controles de acceso desde sistemas externos al que se encuentra el sistema Big Data (por ejemplo, con el uso de firewalls). Cuando se quiere crear una infraestructura Big Data es necesaria la utilización de una serie de herramientas y técnicas. Estas técnicas tienen que ser las más adecuadas para cubrir cada uno de los pasos necesarios para el tratamiento de información. Por eso lo más adecuado es colocar en paralelo las herramientas con la etapa en la que se debe utilizar:
TEMA 1 – Ideas clave
19
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Captura
Bases de datos operacionales estructuradas
Bases de datos operacionales no estructuradas
Organización
Bases de datos para la organización
Herramientas de organización y estructuración de datos
Integración
Data warehouses
Análisis
Herramientas de análisis tradicionales
Herramientas de análisis avanzadas
Herramientas de soporte
Infraesructura de seguridad
Infraestructura para la redundancia física de datos
Data marts -
Mercados de datos
Informes de resultados
Visualización
1.7. Herramientas de Big Data Dentro de cada una de las tecnologías asociadas a Big Data existen distintas herramientas que proveen las características descritas; algunas se restringen al campo operacional, otras al campo analítico, y otras combinan herramientas de los dos tipos: Arquitectura integrada:
o
Hadoop desarrollado por Apache, es un conjunto de herramientas utilizadas para gestionar grandes volúmenes de información dentro de clusters (o agrupaciones de máquinas).
Operacionales:
o
RDBMS: gestores de bases de datos relacionales tradicionales basados en tablas.
o
Bases de datos NoSQL: son bases de datos que permiten gestionar datos no estructurados (tablas), datos como archivos de texto, imágenes o vídeos. Dentro de este tipo de bases de datos se encuentran MongoDB, Cassandra o CouchDB.
TEMA 1 – Ideas clave
20
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Analíticas:
o
MapReduce: aunque originario de Google, se integró como herramienta para el tratamiento de datos en paralelo dentro de Hadoop.
o
Lenguaje R : es un lenguaje desarrollado por los laboratorios Bell, para el tratamiento estadístico de datos, cuyo entorno incluye un conjunto de herramientas que permiten la manipulación de grandes volúmenes de datos y la visualización de información por medio de gráficos y diagramas.
Big data landscape v 3.0 - Matt Turck (FirstMark). Autor: Matt Turck. Fuente: http://www.slideshare.net/mjft01/big-data-landscape-matt-turck-may-2014
En cuanto a las herramientas citadas anteriormente, haremos un estudio más exhaustivo de la herramienta Hadoop, una de las más extendidas y utilizadas por tratarse de una herramienta abierta.
TEMA 1 – Ideas clave
21
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Hadoop Es un marco software que incluye una serie de componentes diseñados para cubrir todas las necesidades asociadas a un sistema Big Data: el almacenamiento distribuido, el almacenamiento de información y el análisis de datos. Tiene un diseño que permite escalar el sistema de gestión de datos desde una única máquina hasta un compendio de máquinas denominadas cluster. Los componentes básicos de Hadoop son los siguientes:
HDFS (Almacenamiento redundante).
Hadoop Common
YARN (Gestión de recursos del cluster ).
MapReduce (Procesamiento de datos).
Hadoop Common: es el núcleo central de Hadoop y se encarga de que el resto de módulos puedan funcionar de manera conjunta. HDFS (Hadoop Distributed File System). Hadoop YARN: es un marco que permite la planificación de los procesos y la gestión de los recursos dentro del cluster. Hadoop MapReduce: es el sistema basado en YARN que permite el procesamiento en paralelo de grandes conjuntos de datos. A parte de los módulos principales, existen una serie de proyectos anexos que proporcionan características auxiliares al marco. A los módulos base junto con estos proyectos es lo que se denomina ecosistema Hadoop.
TEMA 1 – Ideas clave
22
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Future of Data - Big Data. Autor: Shankar R. Fuente: http://es.slideshare.net/cosmokramer5/future-ofdata-big-data
Ambari™: es una herramienta para el aprovisionamiento, gestión y monitorización de los clusters de Hadoop con soporte para Hadoop HDFS, Hadoop MapReduce, Hive, HCatalog, HBase, ZooKeeper, Oozie, Pig y Sqoop. Avro™: es un sistema de serialización de datos. Cassandra™: es una base de datos escalabre multimaestra sin puntos simples de fallo. Chukwa™: es un sistema de recolección de datos para la gestión de grandes sistemas distribuidos. HBase™: es una base de datos escalable y distribuida que soporta el almacenamiento de datos estructurados en grandes tablas. Hive™: es una infraestructura de data warehouse que proporciona agrupaciones de datos y consultas ad hoc. Mahout™: es una biblioteca de minería de datos y una máquina de aprendizaje escalable. Pig™: se utiliza en la programación en paralelo como un marco de ejecución y un lenguaje de flujo de datos a alto nivel. Spark™: es una máquina de cálculo general que soporta aplicaciones como ETL, máquinas de aprendizaje, procesamiento de flujos y calculo gráfico.
TEMA 1 – Ideas clave
23
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Tez™: un marco de programación de flujo de datos. ZooKeeper™: es un servicio para la coordinación de aplicaciones distribuidas de alto rendimiento.
1.8. Big Data en la educación Dentro del campo de la educación, los sistemas de Big Data son herramientas muy valiosas. Dan soporte al profesorado para llevar un mejor seguimiento del alumnado y, por otro lado, ayudan promover el aprendizaje del alumno. Como se ha visto en apartados anteriores existen herramientas de muy diversos tipos relacionadas con los Big Data: de visualización, analíticas, de creación de informes. Cuando se aplican cada una de ellas al campo de la educación aparecen herramientas específicas como son la minería de datos educativos o el análisis del aprendizaje. Cada una de ellas tiene unos objetivos específicos que se exponen a continuación. Los objetivos de la minería de datos (análisis de datos) educativos son: El desarrollo de algoritmos para encontrar patrones en los datos, es decir, poder dilucidar cuáles son los términos específicos para que cada alumno pueda realizar un proceso de aprendizaje más eficiente. Poder realizar valoraciones de satisfacción del alumno. Personalizar la experiencia de cada alumno ayudando en la eficacia de su aprendizaje. En cuanto a las herramientas de análisis de aprendizaje, los objetivos son: Analizar la situación de aprendizaje de cada alumno, permitiendo crear rutas de aprendizaje propias para cada alumno. Comprobar si el alumno ha conseguido alcanzar las competencias necesarias para superar o no un temario.
TEMA 1 – Ideas clave
24
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Si es necesario o no dar soporte a un alumno en alguna de las competencias para la superación de las asignaturas. La aplicación de Big Data a la educación proporciona una gestión de la información propia y exclusiva: Primero se debe instalar un sistema de aprendizaje online. En el primer acceso del alumno no se tiene información suficiente acerca del contenido en el que está interesado, pero en sucesivos accesos se va a recolectar la información
suficiente
para
proporcionarle
contenidos
individualizados
y
configurados según sus tendencias y deseos. Una vez se estudie su actividad se podrán realizar previsiones de progreso y de qué rendimiento conseguirá en un futuro. Para mostrar dicho progreso se utilizarán herramientas de visualización (informes, paneles…). Por cada entrada que el alumno haga se adaptarán los contenidos a su seguimiento y sus intereses. Y en el caso de que sea necesario se podrá contar con la intervención de profesores que puedan apoyar las deficiencias que pueda tener el alumno.
Instalación y preparacón del sistema de aprendizaje
Intervención de profesores
Interacción del alumno con el sistema
Adaptación de contenidos al alumno
TEMA 1 – Ideas clave
Previsioes de progreso (informes, paneles...)
25
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
1.9. Características de Big Data en la educación Para que este sistema entre en funcionamiento de manera correcta es necesario tener un control exhaustivo del sistema de aprendizaje. No cualquier sistema se va a adaptar al entorno educativo que se quiere implementar, por lo que se hace necesario estudiar profundamente las necesidades que se quieren cubrir y cuáles han sido los antecedentes del sistema. Por otro lado, es necesario estudiar y conocer cuáles son los sistemas software que se adaptan mejor a esas necesidades, por lo que se hace necesario hacer un estudio de los sistemas existentes. Además, hay que contar con el sistema hardware necesario para su instalación. Otro punto a tener en cuenta es las características de la información que se va a tener que almacenar y carácter de la misma, ya que la cuestión de privacidad va a ser un factor crítico. Dado que se están registrando datos del alumno no todo el personal debería tener acceso a los mismos. Por estas razones se propone que los sistemas de Big Data para la educación deben tener como mínimo estas características: Respecto a los estudiantes:
o
Deben proporcionar un acceso sencillo a la información del sistema.
o
Debe ser capaz de registrar el acceso a los contenidos del alumno y evaluar su seguimiento.
o
Debe incluir herramientas que permitan nivelar correctamente las competencias del alumno.
o
Debe incluir modos atractivos y diversos para que el alumno se encuentre motivado ante el estudio.
Respecto al profesorado:
o
Debe proveer un sistema sencillo para preparar e incluir el material al que va a tener acceso el alumno.
TEMA 1 – Ideas clave
26
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
o
Debe proporcionar herramientas que puedan configurar los profesores para hacer las evaluaciones del alumnado.
o
Los informes del seguimiento de los alumnos deberían poder ser configurables y dinámicos para que sea más rápido su análisis.
o
Debe permitir que los profesores puedan crear distintos escenarios para que los alumnos con distintas necesidades puedan acceder a los mismos.
Respecto a los administradores del sistema:
o
Debe proveer herramientas de encriptación.
o
Debe incluir herramientas para la realización de copias de seguridad de los datos y redundancia de información para responder a las caídas del sistema.
o
Debe incluir herramientas para facilitar la configuración y puesta en marcha del sistema.
Tiene que quedar claro que la tecnología tiene que ser una herramienta para que los datos almacenados en los grandes volúmenes de información puedan ser tratados o manipulados, pero el esfuerzo de convertir los datos en conocimiento, hasta el momento solo lo ha podido realizar el hombre.
1.10. Referencias bibliográficas CISCO (3 de febrero de 2015). Cisco Visual Networking Index: Global Mobile Data Traffic Forecast
Update
2014–2019
White
Paper.
Recuperado
de
http://www.cisco.com/c/en/us/solutions/collateral/service-provider/visualnetworking-index-vni/white_paper_c11-520862.html Inmon, W. H. (octubre, 2005). Building the Data Warehouse (4ª ed.). Nueva York (EE. UU.): Wiley. RAE (2012). Diccionario de la lengua española (22ª ed.) [Versión web]. Recuperado de http://www.rae.es/
TEMA 1 – Ideas clave
27
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Lo + recomendado Lecciones magistrales Las herramientas de visualización de datos En esta lección magistral haremos un recorrido por las distintas herramientas existentes para la visualización de grandes volúmenes de datos y cómo se pu ede hacer uso de ellas.
La lección magistral está disponible en el aula virtual
No dejes de leer… Definiciones de Big Data Stuart, J. y Barker, A. (20 de septiembre de 2013). Undefined By Data: A Survey of Big Data Definitions.
Este artículo ofrece la evolución del término de Big Data desde el punto de vista de las empresas que en la actualidad ofrecen herramientas para el tratamiento masivo de información (Intel, Oracle, etc.).
Accede al artículo a través del aula virtual o desde la siguiente dirección web: http://arxiv.org/pdf/1309.5821.pdf
TEMA 1 – Lo + recomendado
28
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
No dejes de ver… La aventura del saber. Big Bang Data ¿Qué son los datos masivos? Big Bang Data es una exposición itinerante que arranca en el CCCB, el Centro de Cultura Contemporánea de Barcelona. Nos acerca, por primera vez en España, al fenómeno de la explosión de datos, desde las artes, la política, la investigación y la participación ciudadana.
Accede al vídeo a través del aula virtual o desde la siguiente dirección web: http://www.rtve.es/alacarta/videos/la-aventura-del-saber/aventura-del-saber-big bang-data/2822809/
No dejes de escuchar… La Biblioteca Nacional pondrá el Big Data cultural a disposición del público español Programa de «Sostenible y renovable» de Radio 5, que expone las actuaciones que está llevando a cabo la Biblioteca Nacional para poner a disposición del público el Big Data cultural.
Accede al audio a través del aula virtual o desde la siguiente dirección web: http://www.rtve.es/radio/20150421/biblioteca-nacional-pondra-big-data-culturaldisposicion-del-publico-espanol/1133641.shtml
TEMA 1 – Lo + recomendado
29
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
+ Información A fondo The Mobile Learning Phenomenon in Education En este informe, elaborado por CISCO, se hace un estudio del fenómeno de la utilización de dispositivos móviles en la educación.
Accede al informe a través del aula virtual o desde la siguiente dirección web: http://www.cisco.com/web/KR/events/smart_education/pdf/CiscoMobileLearningPh enomenonWP_V2.pdf
Architecture Framework and Components for the Big Data Ecosystem
Demchenko, Y., Ngo, C. y Membrey, P. (12 de septiembre de 2013). Architecture Framework and Components for the Big Data Ecosystem. System and Network Engineering Group y Universiteit van Amsterdam.
Este informe explica la arquitectura básica de un Big Data, sus necesidades y los entornos en los que se aplica. Expone con claridad las necesidades de seguridad de estos sistemas.
Accede al informe a través del aula virtual o desde la siguiente dirección web: http://www.uazone.org/demch/worksinprogress/sne-2013-02-techreport-bdafdraft02.pdf
TEMA 1 –+ Información
30
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Webgrafía Inspiring Science Education Página web que provee herramientas y recursos para promover e inspirar a los alumnos la utilización de herramientas online.
Accede a la página web a través del aula virtual o desde la siguiente dirección: http://www.inspiring-science-education.net/home
Welcome to Apache™ Hadoop®! Web y Wiki centrada en el proyecto Hadoop® y los proyectos relacionados con las herramientas que pueden ser integradas en él.
Accede a la página web a través del aula virtual o desde la siguiente dirección: http://hadoop.apache.org/
TEMA 1 –+ Información
31
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Bibliografía Ackoff, R. L. (1989). From data to wisdom. Journal of Applied Systems Analysis, 15 , 3-9. Bates, T. (6 de febrero de 2012). Will big data answer our questions about online learning? [Artículo en un blog]. Online learning and distance education resources. Recuperado
de
http://www.tonybates.ca/2012/02/06/will-big-data-answer-our-
questions-about-online-learning/ Davis, B. G. (2009). Tools for Teaching. Nueva York (EE. UU.): Jossey-Bass (Wiley). Kodali, P. Z. (2013). Big Data Analytics Using Splunk: Deriving Operational Intelligence from Social Media, Machine Data, Existing Data Warehouses, and Other Real-Time Streaming Sources (Expert's Voice in Big Data). Nueva York (EE. UU.): Apress. Lam, C. (2010). Hadoop in Action. Nueva York (EE. UU.): Manning Publications. Machlup, F. (1980). Knowledge and knowledge production. Nueva Jersey (EE. UU.): Princeton University Press. Mitchell, R. L. (23 de octubre de 2014). 8 big trends in big data analytics. [Artículo en un blog]. Computer World. Recuperado de http://www.computerworld.com/article/2690856/big-data/8-big-trends-in-big-dataanalytics.html Reimann, M. J. (2010). Designs for Learning Environments of the Future: International Perspectives from the Learning Sciences. Nueva York (EE. UU.): Springer. Sawant, N. y Shah, H. (2013). Big Data Application Architecture Q and A. Nueva York (EE. UU.): Apress. Sharma, N. (4 de febrero de 2008). The origin of the «data information knowledge wisdom»
hierarchy
[Artículo
en
un
blog].
e-Reality.
Recuperado
de
https://erealityhome.wordpress.com/2008/03/09/the-origin-of-dikw-hierarchy/
TEMA 1 –+ Información
32
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Soergel, D. (1985). Organizing information: Principles of data base andretrieval systems. Orlando (EE. UU.): Academic Press. Zhao, J. y Pjesivac-Grbovic, J. (19 de junio de 2009). MapReduce: The programming model
and
practice.
Sigmetrics/Performance
2009.
Recuperado
de
http://research.google.com/pubs/archive/36249.pdf Zins, C. (2007). Conceptual approaches for defining data, information, and knowledge. Journal of the American Society for Information Science and Technology, 58, 479-493.
TEMA 1 –+ Información
33
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Actividades Las herramientas de visualización de datos en la educación Descripción de la actividad En esta actividad deberás desarrollar un trabajo en el que, como indica el título, será necesario realizar un estudio de las herramientas existentes de visualización que pueden aplicarse a entornos educativos con Big Data. Podrás elegir una de estas tres orientaciones: Herramientas para la visualización para el apoyo al profesorado para el desarrollo de su actividad con Big Data. Herramientas de visualización para la ayuda del aprendizaje por parte del alumno mediante Big Data. Pautas de elaboración La estructura del trabajo deberá tener como mínimo estos apartados: Introducción. Estudio de la materia. Conclusiones. Objetivos Conocer las utilidades y herramientas de visualización en Big Data. Aplicar las herramientas de visualización de Big Data al entorno de la educación.
TEMA 1 – Actividades
34
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Criterios de evaluación Se valorará la adecuación de las herramientas a la educación. Se valorará la justificación. Se valorará la inclusión de ventajas e inconvenientes de cada herramienta a la hora de utilizarlas en Big Data. Se valorará el número de herramientas analizadas. Extensión máxima de la actividad: 5 páginas, fuente Georgia 11 e interlineado 1,5.
TEMA 1 – Actividades
35
© Universidad Internacional de La Rioja (UNIR)
Del Dato ( Big Data) a la Información (Internet)
Test 1. El concepto de Big Data según su definición solo tiene los siguientes datos asociados: velocidad, valor y veracidad. A. Verdadero. B. Falso. 2. La unidad más pequeña de información es: A. El byte. B. El bit. C. El zettabyte. D. El zettabit. 3. Los pasos para el tratamiento de la información son: A. Captura, análisis, ordenación, búsqueda y visualización. B. Captura, análisis, compartición, búsqueda y visualización. C. Captura, análisis, compartición, búsqueda y visualización. D. Captura, almacenamiento, búsqueda, compartición y visualización. 4. Las técnicas que están combinadas para la gestión de Big Data son: A. Operacionales. B. Analíticas. C. Constructivas. D. Seguimiento. 5. Las características básicas de las bases de datos operacionales son: A. Rapidez. B. Criticidad. C. Escalabilidad. D. Robustez. 6. Los data warehouses se diferencian de los data mart en: A. El almacenamiento de los datos. B. Que tienen un ámbito global. C. Que son de un solo departamento. D. Los datos no están normalizados.
TEMA 1 – Test
36
© Universidad Internacional de La Rioja (UNIR)
View more...
Comments
