hadoop集群搭建文档-虚拟机版本

准备工作：虚拟机安装三台linux 本次测试是 centos 6.5，(三台虚拟机的系统时间保持一致)

*安装jdk（在另外一个文档中） *克隆虚拟机

*在vmware设置-克隆（虚拟机要关机，jdk要配置好） *选择克隆当前状态的虚拟机

**克隆完之后关机，点击重新生成mac地址

克隆2台虚拟机完成后：新的2台虚拟机，请务必依次修改3台虚拟机的ip地址和主机名称【建议三台主机名称依次叫做：master、node1、node2 】

1修改ip地址：

其他克隆的虚拟机实际上只需要改address地址就可以，后面两项不变

*修改主机名命令： vi /etc/sysconfig/network （三台都要修改）

上述修改完成后，请依次重启三台虚拟机：重启命令：reboot

重启完成后依次在虚拟机上执行下面命令： 1.设置ip(上述步骤)（三台都要操作）

使用命令 重启网卡：service network restart

2.关闭防火墙（三台都要操作），使用命令：service iptables stop

3.关闭防火墙的自动启动（三台都要操作），使用命令：chkconfig iptables off 设置主机名与ip的映射，修改配置文件命令（三台都要操作）：vi /etc/hosts

将hosts文件拷贝到node1和node2节点 命令：

scp /etc/hosts node1:/etc/hosts scp /etc/hosts node2:/etc/hosts

4.设置ssh免密码登录（只在Master 这台主机操作）

4.1主节点执行命令ssh-keygen -t rsa 产生密钥 一直回车 执行命令

将密钥拷贝到其他两个子节点，命令如下： ssh-copy-id -i node1 ssh-copy-id -i node2

实现免密码登录到子节点。

4.2 实现主节点master本地免密码登录 首先进入到/root 命令：cd /root 再进入进入到 ./.ssh目录下 命令：cd ./.ssh/

然后将公钥写入本地执行命令： cat ./id_rsa.pub >> ./authorized_keys 如图

--------------------------------------（以下操作都在master 这台主机操作）-------------------

6将hadoop的jar包先上传到虚拟机/usr/local/soft目录下，主节点。可以使用xshell拖拽

7，解压。tar -zxvf hadoop-2.6.0.tar.gz 解压完后会出现 hadoop-2.6.0的目录

8，修改master中hadoop的一个配置文件/usr/local/soft/etc/hadoop/slaves 删除原来的所有内容，修改为如下 node1 node2

9，修改hadoop的几个组件的配置文件 进入/usr/local/soft/hadoop-2.6.0/etc/hadoop 目录下(请一定要注意配置文件内容的格式，可以直接复制过去黏贴。不要随意改) * 修改hadoop-env.sh文件 加上一句

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

***修改 core-site.xml

将下面的配置参数加入进去修改成对应自己的

fs.defaultFS

hdfs://master:9000

hadoop.tmp.dir

/usr/local/soft/hadoop-2.6.0/tmp

fs.trash.interval 1440

***

修改 hdfs-site.xml 将dfs.replication设置为1

dfs.replication 1

dfs.permissions false

**

文件yarn-site.xml

yarn.resourcemanager.hostname master

yarn.nodemanager.aux-services mapreduce_shuffle

yarn.log-aggregation-enable true

yarn.log-aggregation.retain-seconds 604800

**修改 mapred-site.xml（将mapred-site.xml.template 复制一份为 mapred-site.xml 命令：cp mapred-site.xml.template mapred-site.xml）

mapreduce.framework.name yarn mapreduce.jobhistory.address master:10020 mapreduce.jobhistory.webapp.address master:19888

12，将hadoop的安装目录分别拷贝到其他子节点

scp -r /usr/local/soft/hadoop-2.6.0 node1:/usr/local/soft/ scp -r /usr/local/soft/hadoop-2.6.0 node2:/usr/local/soft/

13 启动hadoop

首先看下hadoop-2.6.0目录下有没有tmp文件夹。 如果没有 执行一次格式化命令：

cd /usr/local/soft/hadoop-2.6.0目录下 执行命令：

./bin/hdfs namenode -format 会生成tmp文件。 然后

/usr/local/soft/hadoop-2.6.0目录下 启动执行：./sbin/start-all.sh 启动完成后验证进程

主节点进程：namenode/ secondarnamenode/resourcemanager

子节点进程 datanode /nodenodemanager

验证hdfs：

可以登录浏览器地址：192.168.1.80:50070 （ip地址是master的地址） 看到下面页面证明 hdfs装好了

下图是我已经创建了一个hdfs上的目录，刚装好的hadoop应该是空的什么都没有

******* 如果第一次启动失败了，请重新检查配置文件或者哪里步骤少了。 再次重启的时候

需要手动将每个节点的tmp目录删除: rm -rf /usr/local/soft/hadoop-2.6.0/tmp 然后执行将namenode格式化 在主节点执行命令:

./bin/hdfs namenode -format