头歌｜Hadoop单点部署，安装和管理

第1关：配置开发环境 - JavaJDK的配置

mkdir /app
cd /opt
tar -zxvf jdk-8u171-linux-x64.tar.gz
mv jdk1.8.0_171/ /app
vim /etc/profile
#vim_ 添加至文件末尾
JAVA_HOME=/app/jdk1.8.0_171
CIASSPATH=.:$JAVA_HOME/lib/too1s.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
#vim（i进入编辑 esc退出编辑模式 :wq保存退出)
source /etc/profile

第2关：Hadoop单点部署，安装和管理

需要在第一关的基础上，若重置了需要从头开始

cd /opt
tar -zxvf hadoop-3.1.0.tar.gz -C /app
mv /app/hadoop-3.1.0 hadoop3.1
ssh-keygen -t rsa -P '' 
->回车
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
vim /etc/ssh/sshd_config
==vim_ 找到相应代码并修改
RSAAuthentication yes # 启用 RSA 认证  
PubkeyAuthentication yes # 启用公钥私钥配对认证方式  
AuthorizedKeysFile %h/.ssh/authorized_keys # 公钥文件路径
==vim（i进入编辑 esc退出编辑模式 :wq保存退出)
cd /app/hadoop3.1/etc/hadoop/
vim hadoop-env.sh
==vim_ 插入
# The java implementation to use.    
#export JAVA_HOME=${JAVA_HOME}    
export JAVA_HOME=/app/jdk1.8.0_171
==vim（i进入编辑 esc退出编辑模式 :wq保存退出)
vim yarn-env.sh
==vim_ 相应位置插入，#是文件已有字符
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
export JAVA_HOME=/app/jdk1.8.0_171
==vim（i进入编辑 esc退出编辑模式 :wq保存退出)
vim core-site.xml
==vim_ 在文件末尾的configuration标签中添加代码
    
    fs.default.name    
    hdfs://localhost:9000    
    HDFS的URI，文件系统://namenode标识:端口号    
    
    
    hadoop.tmp.dir    
    /usr/hadoop/tmp    
    namenode上本地的hadoop临时文件夹    

==vim（i进入编辑 esc退出编辑模式 :wq保存退出)
vim hdfs-site.xml
==vim_ 在文件末尾的configuration标签中添加代码
    
    dfs.name.dir    
    /usr/hadoop/hdfs/name    
    namenode上存储hdfs名字空间元数据      
    
    
    dfs.data.dir    
    /usr/hadoop/hdfs/data    
    datanode上数据块的物理存储位置    
    
    
    dfs.replication    
    1    
  
==vim（i进入编辑 esc退出编辑模式 :wq保存退出)
vim mapred-site.xml
==vim_ 在文件末尾的configuration标签中添加代码
  
    mapreduce.framework.name  
    yarn  
  
==vim（i进入编辑 esc退出编辑模式 :wq保存退出)
vim yarn-site.xml
==vim_ 在文件末尾的configuration标签中添加代码
    
        yarn.nodemanager.aux-services    
        mapreduce_shuffle    
    
    
        yarn.resourcemanager.webapp.address    
        192.168.2.10:8099    
        这个地址是mr管理界面的    
  
==vim（i进入编辑 esc退出编辑模式 :wq保存退出)
mkdir /usr/hadoop
useradd -m hadoop
chown hadoop:hadoop /usr/hadoop
==修改root密码为123
passwd root
123
->回车
123
->回车
==修改
su hadoop
cd /usr/hadoop
mkdir tmp
mkdir hdfs
mkdir hdfs/data
mkdir hdfs/name
su root
123
->回车
vim /etc/profile
==vim_文件末尾添加
#set Haoop Enviroment
export HADOOP_HOME=/app/hadoop3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
==vim（i进入编辑 esc退出编辑模式 :wq保存退出)
source /etc/profile
hadoop namenode -format
start-dfs.sh
cd /app/hadoop3.1/sbin
vim start-dfs.sh
==vim_添加
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
==vim（i进入编辑 esc退出编辑模式 :wq保存退出)
vim stop-dfs.sh
==vim_添加
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
==vim（i进入编辑 esc退出编辑模式 :wq保存退出)
vim start-yarn.sh
==vim_添加
YARN_RESOURCEMANAGER_USER=root  
HADOOP_SECURE_DN_USER=yarn  
YARN_NODEMANAGER_USER=root 
==vim（i进入编辑 esc退出编辑模式 :wq保存退出)
vim stop-yarn.sh
==vim_添加
YARN_RESOURCEMANAGER_USER=root  
HADOOP_SECURE_DN_USER=yarn  
YARN_NODEMANAGER_USER=root 
==vim（i进入编辑 esc退出编辑模式 :wq保存退出)
start-dfs.sh
jps