Ubuntu Kylin 安装和部署Hadoop(伪分布式)

前端之家收集整理的这篇文章主要介绍了Ubuntu Kylin 安装和部署Hadoop(伪分布式)前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

####一、配置用户信息 1.添加用户到sudo组(用户名以实际情况为准,这里使用Kevin举例):

  1. sudo adduser Kevin sudo

2.添加到hadoop,并将用户添加到hadoop:

  1. su
  2. addgroup hadoop
  3. usermod -a -G hadoop Kevin

####二、配置ssh免密码登录 1.安装ssh server:

  1. sudo apt-get install openssh-server

2.ssh免密配置:

  1. cd ~/.ssh/ #若没有该目录,请先执行一次ssh localhost
  2. ssh-keygen -t rsa
  3. cat id_rsa.pub >> authorized_keys

3.检测是否能直接登录

  1. ssh localhost

####三、配置JDK 参考文章《Ubuntu Kylin 安装和配置JDK》

####四、安装和配置Hadoop环境变量 1.下载Hadoop2.7.3:

  1. http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.3/

2.解压Hadoop压缩文件

  1. sudo tar -zxvf /home/Kevin/下载/hadoop-2.7.3.tar.gz -C /usr/local

3.重命名Hadoop文件夹:

  1. cd /usr/local/
  2. sudo mv ./hadoop-2.7.3/ ./hadoop

4.修改文件权限:

  1. sudo chown -R Kevin ./hadoop

5.配置Hadoop环境变量:

执行以下命令:

  1. sudo nano /etc/profile

打开界面后,在之前配置的JAVA_HOME后面输入:

  1. export HADOOP_INSTALL=/usr/local/hadoop
  2. export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
  3. export HADOOP_COMMON_HOME=$HADOOP_INSTALL
  4. export HADOOP_HDFS_HOME=$HADOOP_INSTALL
  5. export YARN_HOME=$HADOOP_INSTALL
  6.  
  7. export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin

使配置立即生效:

  1. source /etc/profile

6.检测Hadoop安装是否成功:

  1. hdfs

####五、配置Hadoop伪分布式 1.切换至配置文件目录:

  1. cd /usr/local/hadoop/etc/hadoop

2.配置 core-site.xml:

执行命令:

  1. nano core-site.xml

文件中的 替换为:

  1. <configuration>
  2. <property>
  3. <name>hadoop.tmp.dir</name>
  4. <value>file:/usr/local/hadoop/tmp</value>
  5. <description>Abase for other temporary directories.</description>
  6. </property>
  7. <property>
  8. <name>fs.defaultFS</name>
  9. <value>hdfs://localhost:9000</value>
  10. </property>
  11. </configuration>

3.配置 hdfs-site.xml:

执行命令:

  1. nano hdfs-site.xml

文件中的 替换为:

  1. <configuration>
  2. <property>
  3. <name>dfs.replication</name>
  4. <value>1</value>
  5. </property>
  6. <property>
  7. <name>dfs.namenode.name.dir</name>
  8. <value>file:/usr/local/hadoop/tmp/dfs/name</value>
  9. </property>
  10. <property>
  11. <name>dfs.datanode.data.dir</name>
  12. <value>file:/usr/local/hadoop/tmp/dfs/data</value>
  13. </property>
  14. </configuration>

4.配置yarn-site.xml:

执行命令:

  1. nano yarn-site.xml

文件中的 替换为:

  1. <configuration>
  2. <property>
  3. <name>yarn.nodemanager.aux-services</name>
  4. <value>mapreduce_shuffle</value>
  5. </property>
  6. <property>
  7. <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  8. <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  9. </property>
  10. </configuration>

5.配置mapred-site.xml:

从模板文件复制一个xml,执行命令:

  1. mv mapred-site.xml.template mapred-site.xml

再执行命令:

  1. nano mapred-site.xml

文件中的 替换为:

  1. <configuration>
  2. <property>
  3. <name>mapreduce.framework.name</name>
  4. <value>yarn</value>
  5. </property>
  6. </configuration>

6.配置hadoop-env.sh:

执行命令:

  1. nano hadoop-env.sh

配置文件中的JAVA_HOME(JDK路径以实际情况为准):

  1. export JAVA_HOME=/usr/lib/jvm/java-7-oracle

7.配置完成后,执行格式化:

  1. hdfs namenode -format

出现Exitting with status 0 表示成功,若为 Exitting with status 1 则是出错。

8.启动hadoop所有的进程:

  1. start-all.sh

9.查看各个进程是否正常启动:

执行命令:

  1. jps

执行结果:

  1. 5385 Jps
  2. 2422 NameNode
  3. 2538 Datanode
  4. 2742 SecondaryNameNode
  5. 3008 NodeManager
  6. 2892 ResourceManager

10.在网页上查看Hadoop信息:

  1. http://localhost:50070

####六、参考文章 1.在Ubuntu 14.04 LTS上安装部署Hadoop 2.7.1(伪分布式)(http://www.linuxidc.com/Linux/2015-09/122873.htm)

猜你在找的Ubuntu相关文章