Hadoop

KO | EN

gitlite — search

#ai #typescript #llm #go #golang #android #rust #windows #awesome #kubernetes #vue #mcp #openai #open-source

(★ 22)

Big Data infrastructure with Hadoop, Spark, Hive and NiFi deployed using Docker Compose. https://doi.org/10.5281/zenodo.18968438

Hadoop 최신버젼 다운로드

최종 버전 다운로드 (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# Hadoop / Docker-Compose by @juliopez

[![DOI](https://zenodo.org/badge/DOI/10.5281/zenodo.18968438.svg)](https://doi.org/10.5281/zenodo.18968438)
![License](https://img.shields.io/badge/license-GPL--2.0-blue)
![Status](https://img.shields.io/badge/status-active-green)

Infrastructure for Big Data experimentation using the Hadoop ecosystem deployed with Docker Compose.

This repository provides a reproducible environment including Hadoop, Spark, Hive and NiFi for learning, experimentation and technical demonstrations.

📺 Repositorio oficial del video de YouTube:
👉 https://youtu.be/qjjBWUUJq3s

⭐ Si este repositorio te resulta útil para estudiar o practicar, considera darle una estrella

## How to cite this repository

If you use this infrastructure in research or technical work, please cite:

López-Núñez, J. (2026).  
Hadoop Infrastructure for Big Data using Docker Compose (Version 1.0.0) [Software].  
Zenodo. https://doi.org/10.5281/zenodo.18968438

## License

This project is distributed under the GPL-2.0 license.

## Infraestructura Big Data usando docker-compose.
📌 Repositorio con fines educativos para aprendizaje y práctica de Big Data.

En este contendeor podras encontrar HDFS, Hive, Spark, Hue, Zeppelin, Kafka, Zookeeper y NiFi
 Para la implementacion de este contenedor solo basta con descargar (clonar) este repositorio y, proceder a descomprimir en tu maquina local. 
 Luego, desde la linea de comando, ubicate sobre el directorio Hadoop y ejecuta `docker-compose up`
 Con esto completamos la instalación de Hadoop – HDFS -Spark -Hive- NiFi.
## Podemos comprobar la correcta ejecución de la siguiente forma. 
 En un browser ingresar a http://localhost: `numero de puerto`
 Donde numero de puerto puede ser:
 ** 50070 (visualiza Hadoop y sus namenode)
 ** 8080 (Spark Master)
 ** 8081 (Spark Worker)
 ** 8888 (Hue. Se solicitará la creación de una cuenta. Ingrese admin como usuario y admin como password)
 ** 9999 (NiFi)
 ** 3030 (kafka)
 ** 18630 (StreamSets. Utilice admin / admin)
 ** 19090 (zeppelin)
### Para el uso de Hive 
 Ejecute en la consola `sudo docker exec -it hive-server bash`
 Luego ingrese al directorio donde esta alojado Hive, para esto deberá ejecutar el comando `cd /opt/hive/bin`
 Una vez dentro de dicho directorio, ejecute Hive con el siguiente comando `./hive`
### Para el uso de mysql 
 Ejecute en la consola `sudo docker exec -it database bash`
 Luego el comando `mysql -h localhost -u root -p`
 Posterior a esto se solicitara la contraseña, la cual es : `secret`
### Para el uso de Spark (Scala)
 Ejecute en la consola `sudo docker exec -it spark-master bash`
 Luego ingrese al directorio donde esta alojado Spark, para esto deberá ejecutar el comando `cd /spark/bin`
 Una vez dentro de dicho directorio, ejecute Hive el siguiente comando `./spark-shell`
### Para el uso de pyspark (Python)
 Ejecute en la consola `sudo docker exec -it spark-master bash`
 Luego ingrese al directorio donde esta alojado Spark, para esto deberá ejecutar el comando `cd /spark/bin`
 Una vez dentro de dicho directorio, ejecute el siguiente comando `./pyspark`
### Para el uso de Kafka
 Ejecute en la consola `sudo docker exec -it kafka bash`
 Luego ingrese al directorio donde esta el productos y consumidor de Kafka, para esto deberá ejecutar el comando `cd /usr/local/bin`
 Para crear un TOPIC: `./kafka-topics --create --zookeeper 172.27.1.15:2181 --replication-factor 1 --partitions 1 --topic EJEMPLO`
 Para verificar la creacion: `./kafka-topics --list --zookeeper 172.27.1.15:2181`
 Para crear un PRODUCTOR: `./kafka-console-producer --broker-list localhost:9092 --topic EJEMPLO`
 Para crear un CONSUMIDOR: `./kafka-console-consumer --bootstrap-server localhost:9092 --from-beginning --topic EJEMPLO`
 
 
 SI tienes problemas con HUE, mira la solucion propuesta aqui: [https://youtu.be/Ck4sRPa0o24](https://youtu.be/Ck4sRPa0o24)
 
 Si necesitas trabajar con sqoop, aqui una propuesta: [https://youtu.be/hLJFzOAbY8Q](https://youtu.be/hLJFzOAbY8Q)
 
 Mas info en [Blog de Julio Lopez-Nunez](https://juliopezblog.wordpress.com/).

Hadoop

Hadoop 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Hadoop

Hadoop 최신버젼 다운로드

오늘의 추천 프로젝트

Was this content helpful?

Recent Feedback

Download README