我在大数据领域比较新,这是我第一次使用Docker。我刚刚发现了一个令人惊叹的项目:https://kiwenlau.com/2016/06/26/hadoop-cluster-docker-update-english/,该项目使用Docker创建了一个由一个主机和两个从机组成的 hadoop集群。
完成所有安装后,我只运行了容器,它们可以正常工作。有 start-containers.sh 文件,它可以帮助我在群集上进餐。我决定安装一些工具,例如sqoop,以将我的本地关系数据库导入到Hbase中,并且一切正常。之后,通过点击
,停止我PC中的所有Docker容器docker stop $(docker ps -a -q)
第二天,当我尝试通过运行相同的脚本 ./ start-container.sh 重新启动容器时,发现此错误:
启动hadoop-master容器...
启动hadoop-slave1容器...
启动hadoop-slave2容器...
守护程序的错误响应:容器
e942e424a3b166452c9d2ea1925197d660014322416c869dc4a982fdae1fb0ad是 没有运行
我什至在这个守护进程中吃午饭;群集中的容器无法相互连接,并且我无法访问存储在Hbase上的数据。
首先有人可以告诉我该守护程序为什么不起作用。
PS:在 start-container.sh 文件中,有一行会删除容器(如果它们在创建容器之前就已存在),因此我删除了此行,因为如果我不删除它们,每次从一开始就做所有事情。
搜索后,我发现最好使用 docker compose ,它可以帮助我将所有容器一起吃午餐。
但是我找不到如何将start-container.sh文件转换为docker-compose.yml文件。这是同时午餐所有容器的最佳方法吗?这是start-containers.sh文件的内容:
#!/bin/bash
sudo docker network create --driver=bridge hadoop
# the default node number is 3
N=${1:-3}
# start hadoop master container
#sudo docker rm -f hadoop-master &> /dev/null
echo "start hadoop-master container..."
sudo docker run -itd \
--net=hadoop \
-p 50070:50070 \
-p 8088:8088 \
-p 7077:7077 \
-p 16010:16010 \
--name hadoop-master \
--hostname hadoop-master \
spark-hadoop:latest &> /dev/null
# sudo docker run -itd \
# --net=hadoop \
# -p 5432:5432 \
# --name postgres \
# --hostname hadoop-master \
# -e POSTGRES_PASSWORD=0000
# --volume /media/mobelite/0e5603b2-b1ad-4662-9869-8d0873b65f80/postgresDB/postgresql/10/main:/var/lib/postgresql/data \
# sameersbn/postgresql:10-2 &> /dev/null
# start hadoop slave container
i=1
while [ $i -lt $N ]
do
# sudo docker rm -f hadoop-slave$i &> /dev/null
echo "start hadoop-slave$i container..."
port=$(( 8040 + $i ))
sudo docker run -itd \
-p $port:8042 \
--net=hadoop \
--name hadoop-slave$i \
--hostname hadoop-slave$i \
spark-hadoop:latest &> /dev/null
i=$(( $i + 1 ))
done
# get into hadoop master container
sudo docker exec -it hadoop-master bash