hadoop伪分布式集群搭建

1、安装linux系统

我采用虚拟机的方式安装了fedora27 server系统

安装过程略，安装完毕后更新系统

>dnf update -y

>dnf install -y vim

注意：文中所用命令为【>】开头，vim命令编辑本文后需要使用【:wq】命令保存。

2、配置免密登陆

>ssh-keygen
#遇到提示回车回车回车完成key的创建
>cd .ssh
>cat id_rsa.pub >> authorized_keys
>chmod 600 authorized_keys

顺序执行完上述步骤完成免密登陆的设定

3、安装jdk环境（1.8源码）

到官网复制jdk1.8源码安装包下载地址，通过wget命令下载

>cd /opt/
>wget https://download.oracle.com/otn-pub/java/jdk/8u191-b12/2787e4a523244c269598db4e85c51e0c/jdk-8u191-linux-x64.tar.gz?AuthParam=1540892982_f565b47afc3dd7fab40efcfa61b06aeb
>tar zxf jdk-8u191-linux-x64.tar.gz
>mv jdk1.8.0_191/ /usr/local/
>vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_191
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
>source /etc/profile
>java -version

成功输出jdk版本信息则jdk环境安装成功

4、安装配置hadoop

下载hadoop-2.9.0.tar.gz，类似于jdk此处不在展示

>tar zxf hadoop-2.9.0.tar.gz
>cd hadoop-2.9.0/etc/hadoop
>vim hadoop-env.sh
#注释原JAVA_HOME,配置新JAVA_HOME
#export JAVA_HOME=${JAVA_HOME} 
export JAVA_HOME=/usr/local/jdk1.8.0_191
>vim hdfs-site.xml
<configuration>
        <!-- 配置副本的数量 -->
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <!-- 配置namenode路径 -->
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/home/hadoop_data/dfs/name</value>
        </property>
        <!-- 配置datanode路径 -->
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/home/hadoop_data/dfs/data</value>
        </property>
</configuration>
>vim core-site.xml
<configuration>
        <!-- 临时目录 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/home/hadoop_data</value>
        </property>
        <!-- hdfs服务地址:端口 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://0.0.0.0:9000</value>
        </property>
</configuration>
>cd /home
>mkdir hadoop_data
>cd /opt/hadoop-2.9.0/bin/
>./hdfs namenode -format

执行后输出如下日志，表示格式化成功

18/10/31 01:39:11 INFO common.Storage: Storage directory /home/hadoop_data/dfs/name has been successfully formatted.

>cd ../sbin/
>./start-dfs.sh

第一次执行时会出现免密登陆的提示，输入yes并回车即可

看到如下提示，表示hadoop启动成功

Starting namenodes on [0.0.0.0]
0.0.0.0: starting namenode, logging to /opt/hadoop-2.9.0/logs/hadoop-root-namenode-localhost.localdomain.out
localhost: starting datanode, logging to /opt/hadoop-2.9.0/logs/hadoop-root-datanode-localhost.localdomain.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /opt/hadoop-2.9.0/logs/hadoop-root-secondarynamenode-localhost.localdomain.out

使用jps命令进行验证，至此hadoop已经安装完毕

13889 DataNode
13735 NameNode
14089 SecondaryNameNode
14254 Jps

执行下列命令创建一个test目录

>cd ../bin/
>./hdfs dfs -mkdir /test
>./hdfs dfs -ls /

显示 test 目录被成功创建

Found 1 items
drwxr-xr-x   - root supergroup          0 2018-10-31 01:50 /test

Hadoop 生态系统软件版本关联紧密，在不同的环境中可能会出现一些异常情况，本练习选用环境如下

• Linux系统：Fedora 27 Server
• JDK版本：jdk-8u191-linux-x64.tar.gz
• Hadoop版本：hadoop-2.9.0.tar.gz

下篇将继续介绍在此环境基础上搭建HBASE伪分布式集群搭建