【大数据（一）】hadoop2.4.1集群搭建(重点)

​

1.准备Linux环境

1.0先将虚拟机的网络模式选为NAT

1.1修改主机名

vi /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=server1.itcast.cn

1.2修改ip地址

vi /etc/sysconfig/network-scripts/ifcfg-eth0

重新启动网络：service network restart

1.3修改ip地址和主机名的映射关系

vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.0.101 server1.itcast.cn

1.4关闭防火墙iptables并设置其开机启动/不启动

#查看防火墙状态

service iptables status

#关闭防火墙

service iptables stop

#查看防火墙开机启动状态

chkconfig iptables --list

#关闭防火墙开机启动

chkconfig iptables off

1.5 修改sudo

（sudo是linux系统管理指令，是允许系统管理员让普通用户执行一些或者全部的root命令的一个工具）

1.  su root   #进入超级用户
2.  ll /etc/sudoers   #查看/etc/sudoers的权限
3.  chmod 777 /etc/sudoers  #修改/etc/sudoers文件的权限成可读可写可执行
4    vi  /etc/sudoers
# 给hadoop用户添加执行的权限
  root    ALL=(ALL)       ALL
hadoop  ALL=(ALL)       ALL 
5.  chmod 440 /etc/sudoers   #退出保存/etc/sudoers文件
6.  su username  #切换用户到指定用户
7. 关闭linux服务器的图形界面：
（1）vi  /etc/inittab
（2）id:5:initdefault:  ------>  id:3:initdefault:
8.重启Linux：Reboot 

1.6 虚拟机复制  

 右键-->管理-->克隆

（1）解决克隆后eth0不见的问题

直接修改  /etc/sysconfig/network-script/ifcfg-eth0

删掉UUID  HWADDR

配置静态地址

（2）然后：

vi /etc/udev/rules.d/70-persistent-net.rules

   删除eth0的一段

   把第二段的最后 eth1 改成eth0

然后 reboot

                                        

2.安装JDK

2.1上传安装包

alt+p 后出现sftp窗口，然后put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz

2.2解压jdk

#创建文件夹

mkdir /home/hadoop/app

#解压

tar -zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app

2.3将java添加到环境变量中

vi /etc/profile

#在文件最后添加

export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#刷新配置

source /etc/profile

3.安装hadoop2.4.1

3.1上传安装包

alt+p 后出现sftp窗口先上传hadoop的安装包到服务器上去/home/hadoop/

解压到 Hadoop/apps : tar -zxvf hadoop-2.6.4.tar.gz -C /home/hadoop/apps

注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop

伪分布式需要修改5个配置文件

3.2配置hadoop

    进入目录：cd  /home/hadoop/apps/hadoop-2.6.4/etc/hadoop

第一个：hadoop-env.sh

vi hadoop-env.sh

#第27行​

编辑

export JAVA_HOME=/home/hadoop/apps/jdk1.7.0_45

第二个：core-site.xml

vi  core-site.xml

fs.defaultFS
hdfs://mini1:9000

(修改前的hdfs://weekend-1206-01:9000)


hadoop.tmp.dir
/home/hadoop/hdpdata
        
（修改前的/home/hadoop/hadoop-2.4.1/tmp  )

第三个：hdfs-site.xml   

   vi hdfs-site.xml

dfs.replication
2


dfs.secondary.http.address
192.168.1.152:50090

第四个：mapred-site.xml

(mv mapred-site.xml.  template mapred-site.xml)

mv mapred-site.xml.template      mapred-site.xml

vim mapred-site.xml

mapreduce.framework.name
yarn

重命名：mv mapred-site.xml.template    mapred-site.xml

第五个：yarn-site.xml

vi yarn-site.xml

yarn.resourcemanager.hostname
mini1



yarn.nodemanager.aux-services
mapreduce_shuffle

  分发到各个mini2 ，mini3 的机器上

scp -r /home/hadoop/apps mini2:/home/hadoop/
scp -r /home/hadoop/apps mini3:/home/hadoop/

3.3将hadoop添加到环境变量

sudo vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_65
export HADOOP_HOME= /home/hadoop/apps/hadoop-2.6.4 
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile

分发到各个mini2 ，mini3 的机器上

sudo scp /etc/profile mini2:/etc/
sudo scp /etc/profile mini3:/etc/

3.4格式化namenode（是对namenode进行初始化）

hdfs namenode -format (hadoop namenode -format)
hdfs datanode -format

添加从节点

vi /home/hadoop/apps/hadoop-2.6.4/etc/Hadoop/slaves
localhost
mini2
mini3

3.5启动/关闭hadoop

#mini1：cd  /home/hadoop/apps/hadoop-2.6.4/sbin
启动： hadoop-daemon.sh  start namenode
关闭：hadoop-daemon.sh  stop namenode
#mini2: source /etc/profile
启动：hadoop-daemon.sh  start datanode
关闭：hadoop-daemon.sh  stop datanode
#mini3
启动：hadoop-daemon.sh  start datanode
关闭：hadoop-daemon.sh  stop datanode
先启动HDFS
sbin/start-dfs.sh
再启动YARN
sbin/start-yarn.sh
------------------------------------------------------------------------------
全部启动
路径： cd  /home/hadoop/apps/hadoop-2.6.4/sbin
./start-all.sh
./stop-all.sh
启动namenode
hadoop-daemon.sh start namenode
启动datanode
hadoop-daemon.sh start datanode
启动yarn
hadoop-daemon.sh start yarn
查看hdfs 状态
hdfs  dfsadmin  -report

  

3.6验证是否启动成功

使用jps命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode
http://192.168.1.101:50070 （HDFS管理界面）
http://192.168.1.101:8088 （MR管理界面）

4.配置ssh免登陆

系统重装后修改 ssh：

进入是vi  /root/.ssh/known_hosts 删除对应的节点内容

--------------------------------------------------------------------------------

#生成ssh免登陆密钥

#进入到我的home目录:cd ~/.ssh

 （1） ssh-keygen （四个回车）

执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

将公钥拷贝到要免密登陆的目标机器上

 （2） ssh-copy-id mini2

---------------------------

ssh免登陆：

生成key:

ssh-keygen

复制从A复制到B上:

ssh-copy-id B

验证：

ssh localhost/exit，ps -e|grep ssh

ssh A  #在B中执行

​