hadoop-2.7.3集群的搭建

设置静态IP

关闭防火墙（如果没有关闭，上传文件到hdfs会出错，还存在其他错误）

在hadoop-2.7.3\etc\hadoop\目录下修改配置文件

1. 配置hadoop-env.sh

• 设置JAVA_HOME

• 配置yarn-env.sh

• 配置JAVA_HOME

• 配置slaves

  • 清空并添加
    slave1
    slave2

• 配置hdfs-site.xml，添加属性

• 配置mapred-site.xml

  <property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
  </property>
  <property>
  <name>mapreduce.jobhistory.address</name>
  <value>master:10020</value>
  </property>
  <property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>master:19888</value>
  </property>

• 配置yarn-site.xml

  <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
  </property>
  <property>
  <name>yarn.resourcemanager.address</name>
  <value>master:8032</value>
  </property>
  <property>
  <name>yarn.resourcemanager.scheduler.address</name>
  <value>master:8030</value>
  </property>
  <property>
  <name>yarn.resourcemanager.resource-tracker.address</name>
  <value>master:8031</value>
  </property>
  <property>
  <name>yarn.resourcemanager.admin.address</name>
  <value>master:8033</value>
  </property>
  <property>
  <name>yarn.resourcemanager.webapp.address</name>
  <value>master:8088</value>
  </property>

ssh无密钥登录

复制Hadoop配置好的包到其他Linux主机

通过./bin/hdfs namenode -format 格式化hdfs