Windows 环境下 Hadoop 的安装和配置

guduadmin17小时前

Windows 环境下 Hadoop 的安装和配置

Windows 环境下 Hadoop 的安装和配置
- 平台及版本
- 安装 Java1.8，并配置环境变量
- 安装 Hadoop2.7.3
- Hadoop 核心配置文件
- 启动 Hadoop 服务
  Windows 环境下 Hadoop 的安装和配置
  
  平台及版本
  - Windows10
  - JDK1.8.0_192
  - Hadoop2.7.3
    安装 Java1.8，并配置环境变量
    
    首先要安装好Java。没装的先搜索安装Java的教程吧。
    
    这里我已经安装好了，需要配置好环境变量，Hadoop的安装会用到。
    
    路径：C:\Program Files\Java\jdk1.8.0_192
    
    环境变量：HAVA_HOME，值：C:\Program Files\Java\jdk1.8.0_192
    
    安装 Hadoop2.7.3
    1. 从hadoop-2.7.3下载hadoop-2.7.3.tar.gz，解压后放到C盘根目录下：
    1. 原版的Hadoop不支持Windows系统，我们需要修改一些配置方便在Windows上运行，需要从网上搜索下载hadoop对应版本的windows运行包hadooponwindows-master.zip。解压后，复制解压开的bin文件和etc文件到hadoop-2.7.3文件中，并替换原有的bin和etc文件。
    hadooponwindows-master.zip下载：
    链接：https://pan.baidu.com/s/1M2i8prhEPFOIROG_EIYhJw
    提取码：acif
    1. 配置Java环境变量：
      
      并在Path系统变量中加上：%JAVA_HOME%\bin;
    2. 配置Hadoop环境变量：
      
      并在Path系统变量中加上：%HADOOP_HOME%\bin;
    3. 使用编辑器打开C:\hadoop-2.7.3\etc\hadoop\hadoop-env.cmd，找到set JAVA_HOME，将等号右边的值改成自己Java jdk的路径（如果路径中有Program Files，则将Program Files改为 PROGRA~1）。
    4. 配置好上面所有操作后，win+R 输入cmd 打开命令提示符，然后输入hadoop version，按回车，如果出现如图所示结果，则说明安装成功：
    Hadoop 核心配置文件
    
    在hadoop-2.7.3根目录下新建data文件夹和tmp文件夹，再在data文件夹里面新建datanote和namenote文件夹：
    
    在hadoop-2.7.3\etc\hadoop中找到以下几个文件用文本编辑器打开。
    1. 打开 hadoop-2.7.3/etc/hadoop/core-site.xml, 复制下面内容粘贴到最后并保存：
```
    
        fs.defaultFS
        hdfs://localhost:9000
    
```
    2. 打开hadoop-2.7.3/etc/hadoop/mapred-site.xml, 复制下面内容粘贴到最后并保存：
```
    
       mapreduce.framework.name
       yarn
    
```
    3. 打开hadoop-2.7.3/etc/hadoop/hdfs-site.xml, 复制下面内容粘贴到最后并保存：
```
 
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        file:/C:/hadoop-2.7.3/data/namenode
    
    
        dfs.datanode.data.dir
        file:/C:/hadoop-2.7.3/data/datanode
    
```
    4. 打开hadoop-2.7.3/etc/hadoop/yarn-site.xml,复制下面内容粘贴到最后并保存：
```
    
       yarn.nodemanager.aux-services
       mapreduce_shuffle
    
    
       yarn.nodemanager.aux-services.mapreduce.shuffle.class
       org.apache.hadoop.mapred.ShuffleHandler
    
```
    从C:\hadoop-2.7.3\bin下拷贝hadoop.dll到 C:\Windows\System32 ，不然在window平台使用MapReduce测试时报错：
    
    启动 Hadoop 服务
    
    到C:\hadoop-2.7.3\bin下，按下Win+R进入命令行窗口，输入hdfs namenode -format，执行结果如下图所示：
    
    格式化之后，namenode文件夹里会自动生成一个current文件，说明格式化成功：
    
    到C:\hadoop-2.7.3\sbin下，按下Win+R进入命令行窗口，输入start-all，启动Hadoop集群：
    
    出现下面四个窗口表示启动Hadoop集群成功：
    
    在同命令行窗口下输入start-all（或运行start-all.cmd），启动Hadoop服务，等待他启动完成。
    
    完成之后，输入jps，可以查看运行的所有服务：
    
    访问http://localhost:50070，这是Hadoop的管理页面：
    
    访问http://localhost:8088，这是yarn的Web界面：
    
    $Windows 环境下 Hadoop 的安装和配置,[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nKm4aKoZ-1663553603228)(C:\Users228\AppData\Roaming\Typora\typora-user-images\image-20220917192604677.png)],第14张$
    
    在同命令行窗口下输入stop-all（或运行stop-all.cmd），关闭Hadoop服务。