¿Cuál es la diferencia entre HDFS y MapReduce?
Share
los diferencia principal entre HDFS y MapReduce es que HDFS es un sistema de archivos distribuido que proporciona acceso de alto rendimiento a los datos de la aplicación, mientras que MapReduce es un marco de software que procesa grandes volúmenes de datos en grandes grupos de manera confiable.
Big data es una colección de un gran conjunto de datos. Tiene tres propiedades principales: volumen, velocidad y variedad. Hadoop es un software que permite almacenar y administrar big data. Es un framework de código abierto escrito en Java. Además, admite el procesamiento distribuido de grandes conjuntos de datos en grupos de computadoras. HDFS y MapReduce son dos módulos en la arquitectura Hadoop.
Áreas clave cubiertas
1. ¿Qué es HDFS?
- Definición, Funcionalidad
2. Qué es MapReduce
- Definición, Funcionalidad
3. ¿Cuál es la diferencia entre HDFS y MapReduce?
- Comparación de diferencias clave
Términos clave
Big Data, HDFS, MapReduce
¿Qué es HDFS?
HDFS significa Sistema de archivos distribuidos de Hadoop. Es un sistema de archivos distribuido de Hadoop para ejecutarse en grandes clusters de manera confiable y eficiente. Además, se basa en el sistema de archivos de Google (GFS). Además, también tiene una lista de comandos para interactuar con el sistema de archivos..
Además, el HDFS funciona de acuerdo con la arquitectura maestra y esclava. El nodo maestro o nodo de nombre administra los metadatos del sistema de archivos mientras que los nodos esclavos o las notas de datos almacenan datos reales.
Figura 1: Arquitectura HDFS
Además, un archivo en un espacio de nombres HDFS se divide en varios bloques. Los nodos de datos almacenan estos bloques. Y, el nodo de nombre asigna los bloques a los nodos de datos, que manejan las operaciones de lectura y escritura con el sistema de archivos. Además, realizan tareas como la creación de bloques, la eliminación, etc. como lo indica el nodo de nombre.
Qué es MapReduce
MapReduce es un marco de software que permite que las aplicaciones de escritura procesen big data simultáneamente en grandes grupos de hardware de productos básicos. Este marco consta de un único rastreador de trabajo maestro y un rastreador de tareas esclavo por nodo de clúster. El maestro realiza la administración de recursos, programando trabajos en esclavos, monitoreando y volviendo a ejecutar las tareas fallidas. Por otro lado, el rastreador de tareas esclavo ejecuta las tareas indicadas por el maestro y envía la información de estado de las tareas a la materia constantemente.
Figura 2: Resumen de MapReduce
Además, hay dos tareas asociadas con MapReduce. Son la tarea del mapa y la tarea de reducir. La tarea del mapa toma los datos de entrada y los divide en tuplas de pares clave, de valor, mientras que la tarea Reducir toma la salida de una tarea del mapa como entrada y conecta esas tuplas de datos en tuplas más pequeñas. Además, la tarea de mapa se realiza antes de la tarea de reducción.
Diferencia entre HDFS y MapReduce
Definición
HDFS es un sistema de archivos distribuido que almacena de forma confiable archivos grandes en máquinas en un gran clúster. En contraste, MapReduce es un marco de software para escribir aplicaciones que procesan grandes cantidades de datos en paralelo en grandes grupos de hardware de productos de una manera confiable y tolerante a fallas. Estas definiciones explican la principal diferencia entre HDFS y MapReduce.
Funcionalidad principal
Otra diferencia entre HDFS y MapReduce es que el HDFS proporciona acceso de alto rendimiento a datos a través de clusters Hadoop altamente escalables, mientras que MapReduce realiza el procesamiento de big data..
Conclusión
En resumen, HDFS y MapReduce son dos módulos en la arquitectura Hadoop. La principal diferencia entre HDFS y MapReduce es que HDFS es un sistema de archivos distribuido que proporciona un alto rendimiento de acceso a los datos de la aplicación, mientras que MapReduce es un marco de software que procesa grandes volúmenes de datos en grandes grupos de manera confiable.
Referencia:
1. "Guía de arquitectura HDFS", Apache Hadoop, disponible aquí.
2. "MapReduce Tutorial", Apache Hadoop, disponible aquí.
3. “¿Qué es el sistema de archivos distribuido de Hadoop (HDFS)? - Definición de WhatIs.com. ”SearchDataManagement, disponible aquí.
Imagen de cortesía:
1. "Hdfsarchitecture" Por Magnai17 - Trabajo propio (CC BY-SA 4.0) a través de Commons Wikimedia
2. "Información general de Mapreduce" Por Poposhka - SVG-Edit (CC BY-SA 3.0) a través de Commons Wikimedia
