BIG DATA Taller No. 2 2 Aprendiendo a través de la Construcción
Ing Alejandro Aguirre Álvarez Guía Práctica Serie TalllleerES ES Documento realizado como apoyo del curso oficial Big Data. Mag. Alejandro Aguirre Alvarez. Alvarez.
[email protected] [email protected]
Alejandro Aguirre Ing. Alejandro Aguirre Álvarez Álvarez delfos.colombi
[email protected] [email protected] OCA-OCP-ITIL-SCRUM-COBIT Certified – Todos los Derechos Reservados Copyright 2018 1
Hadoop Ejercicio práctico Hadoop y HDFS PUNTOS TOTALES DE 1 1 1.Pregunta 1
Las primeras veces que se utiliza el ecosistema Hadoop es necesario comprobar que tanto los servicios relacionados con el repositorio de datos como los relacionados con la ejecución de trabajos funcionan correctamente. correctamente. En este ejercicio vamos a realizar una pequeña comprobación del buen funcionamiento de varios servicios relacionados con Hadoop
Comprobar la salud de HDFS. ¿Está funcionando bien?
Ciclo de creacion, lectura y eliminación de un archivo en HDFS.
Lanzar un trabajo sencillo de prueba
Comprobarr los resultados obtenidos en HDFS Comproba
•
•
•
•
Primero, debes descargar un archivo de datos de prueba texto.txt para resolver una serie de cuestiones. Para ello: ello: 1. Entra en la máquina virtual MV_Cloudera, 2. Abre el navegador web, y, 2. 3. Descarga los datos desde esta 3. dirección: http://www.gutenberg.org/cache/epub/2000/pg2000.txt y cámbiale el nombre a dirección: texto.txt
A continuación, realiza los siguientes pasos: pasos: 1. Comprueba que HDFS y Hadoop funcionan correctamente en la máquina virtual 1. Ing. Alejandro Alejandro Aguirre Aguirre Álvarez Álvarez delfos.colombi
[email protected] [email protected] OCA-OCP-ITIL-SCRUM-COBIT Certified – Todos los Derechos Reservados Copyright 2018 2
2. Descarga el fichero de datos "texto.txt" a una carpeta de usuario en la máquina virtual 2. 3. Crea una carpeta de datos de entrada en HDFS 3. 4. Copia el archivo "texto.txt" a la carpeta de datos de entrada en HDFS 4.
Ejecutando
Alejandro Aguirre Ing. Alejandro Aguirre Álvarez Álvarez delfos.colombi
[email protected] [email protected] OCA-OCP-ITIL-SCRUM-COBIT Certified – Todos los Derechos Reservados Copyright 2018 3
5. Utiliza la biblioteca de ejemplos de Hadoop para contar las palabras en el archivo texto.txt 5. usando una llamada parecida a: hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce- /usr/lib/hadoop-mapreduce/hadoop-mapreduce- examples.jar wordcount
Es importante asegurarse de que la carpeta de entrada contiene nuestro achivo de texto y que no existe la carpeta de salida en HDFS. HDFS. Resuelve la siguiente pregunta completando el comando hadoop del punto 5:
Comprueba el resultado en la carpeta de salida en HDFS. ¿Cuántas veces aparece la palabra "vaca" en el archivo de texto part-r-00000? part-r-00000?
Alejandro Aguirre Ing. Alejandro Aguirre Álvarez Álvarez delfos.colombi
[email protected] [email protected] OCA-OCP-ITIL-SCRUM-COBIT Certified – Todos los Derechos Reservados Copyright 2018 4
Help Hadoop HDFS Inicio En un principio tienes que formatear el sistema de archivos HDFS namenode, abierto (HDFS server), y ejecute el siguiente comando. $ hadoop namenode -format
Después de formatear la HDFS, iniciar el sistema de archivos distribuido. El siguiente comando inicia el namenode, así como los nodos de datos en cluster. $ start-dfs.sh
Listado de los archivos en los HDFS Después de cargar la información en el servidor, podemos p odemos encontrar la lista de los archivos de un directorio, el estado de un archivo, utilizando "ls". A con continuación tinuación se muestra la sintaxis de ls que se puede pasar a un directorio o un nombre de archivo como argumento. $ $HADOOP_HOME/bin/hadoop fs -ls
Insertar datos en HDFS Supongamos que tenemos los datos en el archivo llamado archivo.txt en el sistema local que debe guardarse en el sistema de archivos hdfs. Siga los pasos que se indican a continuación para insertar el archivo requerido en el Hadoop sistema de archivos. Paso 1
Tiene que crear un directorio de entrada. $ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input Paso 2
Transferir y almacenar un archivo de datos de d e sistemas locales a la Hadoop sistema de archivos utilizando el comando put. $ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input Alejandro Aguirre Ing. Alejandro Aguirre Álvarez Álvarez delfos.colombi
[email protected] [email protected] OCA-OCP-ITIL-SCRUM-COBIT Certified – Todos los Derechos Reservados Copyright 2018 5
Paso 3
Puede comprobar el archivo mediante comando ls. $ $HADOOP_HOME/bin/hadoop fs -ls /user/input
Recuperar datos de HDFS Supongamos que tenemos un archivo llamado into outfile en HDFS. A continuación se ofrece una demostración sencilla para recuperar el archivo necesario de la Hadoop sistema de archivos. Paso 1
En un primer momento, ver los datos de los HDFS con comando cat. $ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile Paso 2
Obtener el archivo de HDFS al sistema de archivos local mediante get. $ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/
Apagar el HDFS Puede apagar el HDFS, utilizando el siguiente comando. $ stop-dfs.sh
Alejandro Aguirre Ing. Alejandro Aguirre Álvarez Álvarez delfos.colombi
[email protected] [email protected] OCA-OCP-ITIL-SCRUM-COBIT Certified – Todos los Derechos Reservados Copyright 2018 6
