Hadoop学习之Hadoop伪分布式安装

我爱海鲸 2022-04-05 11:07:57 暂无标签

简介jdk安装,免密登录配置

1、选择Hadoop version为2.7.3的版本并下载安装包

https://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/

2、安装jdk

将jdk上传到/usr/local/java目录下(没有就创建一个)

vim /etc/profile


放到文件最后:
export JAVA_HOME=/usr/local/java/jdk1.8.0_191
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

重新加载配置文件,输入:source /etc/profile

3、下载Hbase 1.2.4

https://archive.apache.org/dist/hbase/1.2.4/

4、配置免密登录

输入:ssh-keygen

如图:

这是我们发现在/root/.ssh目录下有两个文件,如图:

配置公钥:cat id_rsa.pub >> authorized_keys

如图:

修改权限:chmod 600 authorized_keys

如图:

这样我们的免密登录就配置好了,如图:

5、将Hadoop和Hbase上传到/usr/local/hadoop目录下,如图:

6、进入hadoop-2.7.3/etc/hadoop目录,修改相关配置

1):修改vi hadoop-env.sh相关配置:

2):修改vi hdfs-site.xml 相关配置:

输入如下配置:

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/hadoop_data/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/hadoop_data/dfs/data</value>
</property>

如图:

说明:第一个配置表示分片的数量,第二个配置和第三个配置表示节点的名称和数据

配置好以后要在对应的目录下创建相关的文件目录

3):修改vi core-site.xml 相关配置:

输入如下配置:

<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/hadoop_data</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://0.0.0.0:9000</value>
</property>

如图:

7、启动,进入hadoop的bin的目录下执行:./hdfs namenode -format

如图表示成功:

然后我们进入sbin目录下执行:./start-dfs.sh

如图:

然后我们看到了这几个进程:namenode、datanode、secondarnamenode

我们可以使用jps看一下,这几个集群,如图:

然后我们进入bin目录下,执行./hdfs dfs -ls / 查看相关目录,发现什么都没有,如图:

执行:./hdfs dfs -mkdir /test  后再次执行./hdfs dfs -ls /  如图:

这说明我们的hadoop伪分布式集群已经可以使用了

 

 

 

 

你好:我的2025