1.先在一台虚拟机配置jdk,hadoop
2.克隆
3.修改网络等相关配置
当我们使用虚拟机时,可能自然而然的会想上面的步骤一样先搭建一台虚拟机,做好相关配置,然后进行克隆,继而修改一些网络配置来搭建集群,但是在生产过程中是买好的服务器,不存在克隆这一说,所以在此采用的步骤是:
1.建立一台虚拟机(仅带jdk安装包)
2.克隆
3.修改网络等相关配置
4.配置第一个hadoop节点,编写集群分发脚本使其他虚拟机完成配置
二,具体搭建过程
这里使用三台虚拟机来完成集群搭建,hadoop001,hadoop002,hadoop003,把安装包放在/opt/software,建立虚拟机和克隆就不说了,注意一点,在个人用不能使用sudo命令在/opt建立文件,可以先使用root,然后通过chown scq:scq module/ software/ -R
把拥有着赋给个人用户即可
修改网络等配置修改sudoer文件
su rootll /etc/sudoerschmod u+w /etc/sudoersvim /etc/sudoers
修改mac地址,修改ip
sudo vim /etc/udev/rules.d/70-persistent-net.rules
把eth0删除,把eth1改为eth0,同时复制ATTR{address}的值
1 | sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0
|
把ATTR{address}粘到HWADDR
然后更改IP,ip可以通过图形化界面和命令行两种方式进行更改
这里需要重启一下(可以等所有配置完成后再重启),如果我们只是修改ip,可以通过sudo /etc/rc.d/init.d/network restart
进行网络重启即可,但是修改网卡配置通过这个命令会报错网上说eth0 里仍然记录着旧的MAC地址,但我更新了sudo /etc/sysconfig/network-scripts/ifcfg-eth0
仍然不行
1 | BOOTPROTO=static 静态IPBOOTPROTO=dhcp 动态IPBOOTPROTO=none 无(图形化界面修改时BOOTPROTO值为none)
|
修改主机名
主机名是什么:在命令行中敲入hostname或者命令行每一行中 @后面的内容
1 | sudo vim /etc/sysconfig/network
|
重启生效,不重启生效的方式不常见,可以自行百度。
修改hosts文件
1 | sudo vim /etc/hosts [ /code ]关闭防火墙[code]centos6 /etc/init .d /iptables status /etc/init .d /iptables start /etc/init .d /iptables stopchkconfig iptables offcentos7systemctl start firewalldfirewall-cmd --statesystemctl stop firewalldsystemctl disable firewalldsystemctl list-unit-files| grep firewalld
|
注:
1.每次开机时修改一下/etc/resolv.conf文件设置网关
安装hadoop,形成hadoop集群安装单个hadoop
①解压,配置环境变量
②配置文件
对于本地模式,因为本地模式直接运行jvm上,所以不需要对配置文件做配置
对于伪分布式与完全分布式的常见相关配置集中在以下文件中