您好,欢迎来到花图问答。
搜索
您的当前位置:首页hadoop学习笔记(六):hadoop全分布式集群的环境搭建

hadoop学习笔记(六):hadoop全分布式集群的环境搭建

来源:花图问答

本文原创,如需转载,请注明作者以及原文链接!

一、前期准备:

1、jdk安装        不要用centos7自带的openJDK
2、hostname    配置       配置位置:/etc/sysconfig/network文件
3、hosts           配置        配置位置 : /etc/hosts
4、date            配置       date -s "....."设置日期一致
5、   关闭安全机制 /etc/sysconfig/selinux
6、  关闭防火墙:firewall iptables off
7、映射文件更改  :windows 域名映射 /etc/hosts文件

 

 

本环境的搭建角色:主结点node01,从结点node02,、node03,、node04,第二主节点secondaryNameNode的位置:node02

密匙文件分发到从结点

分发命令举例:

[root@node01 hadoop-2.6.5]# scp id_dsa.pub node02:`pwd`/node01.pub

 

这些都设置好了之后才具备全分布式搭建的条件

二、环境搭建

节点: node01/02/03/04全分布分配方案:

                       NN               SNN                 DN
NODE01          *
NODE02                                 *                     *
NODE03                                                        *
NODE04                                                         *


节点状态:
node01: 伪分布
node02/03/04 : ip配置完成
建立各节点通讯(hosts)  可以通过Ping  结点主机的别名来检查是否结点之间能够通讯成功

设置时间同步:date -s “xxxx-x-xx xx:xx:xx”

各节点把node01的公钥追加到认证文件里:
cat ~/node06.pub >> ~/.ssh/authorized_keys                                             ----------------------》这样之后才会能够实现主结点到从结点的免密登录


node02/node03/node04安装jdk环境,node01分发profile给其他节点,并重读配置文件   :通过source 或者.  /etc/profile的形式

分发hadoop部署程序2.6.5 到其他节点

 

至此集群搭建完毕!!!

三、集群启动

启动集群:start-dfs.sh


Jps 查看各节点进程启动情况

 

之后如果想要浏览器访问集群的话,需要查询集群和浏览器交互的端口号,一般是50070 ------------》ss -nal

浏览器成功的访问分布式存储系统

 

 

 

 

四、文件上传

  • 上传文件到分布式存储系统

 

先创建一个用于上传的1.4M大小的文件

[root@node01 hadoop-2.6.5]# for i in `seq 100000`;do echo "hello sxt $i"  >> test.txt;done

 

效果

 

 

具体的对于上传的文件的分割的大小可以做规定,一般的是默认128M每一块,我们可以通过以下的命令来设置

命令意义:将test.txt文件分割上传,并设置分割大小为1M,所以比如这个文件的总的大小是1.4M 的话,会分成两块

[root@node01 software]# hdfs dfs -D dfs.blocksize=1048576 -put test.txt

 

上传之后的效果

1)从浏览器上看

块1的存储效果

块2的存储效果

2)从xshell中看

输入命令

 

 

打开底层存储的文本文件test.txt 的blk_107341825的效果

block0

 

 

block1

 

 

集群停止:

[root@node01 dfs]# stop-dfs.sh

 

转载于:https://www.cnblogs.com/isme-zjh/p/115725.html

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- huatuowenda.com 版权所有 湘ICP备2023022495号-1

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务