大数据(2)---HDFS集群搭建

站长

发表文章数:4335

跳槽驱动工作

一、准备工作

  1.准备几台机器,我这里使用VMware准备了四台机器,一个name node,三个data node

  VMware安装虚拟机:https://www.cnblogs.com/nijunyang/p/12001312.html

  2.Hadoop生态几乎都是用的java开发的,因此四台机器还需要安装JDK

  3.集群内主机域名映射,将四台机器的IP和主机名映射分别写到hosts文件中(切记主机名不要带非法字符,图片中的下划线”_”请忽略)

  vim /etc/hosts

大数据(2)---HDFS集群搭建

 

  配好一个之后可以直接将这个复制到其他机器上面去,不用每台都去配置:

 

  scp /etc/hosts nijunyang69:/etc/

 

  scp /etc/hosts nijunyang70:/etc/

 

  scp /etc/hosts nijunyang71:/etc/

 

 二、hdfs集群安装

 

  1.下载hadoop安装包到linux服务器上面,并进行解压,我这里使用的的2.8.5

 

  tar -zxvf hadoop-2.8.5.tar.gz

  2.hadoop指定java环境变量

  hadoop-2.8.5/etc/hadoop/hadoop-env.sh 文件中指定java环境变量:

  export JAVA_HOME=/soft/jdk1.8.0_191

 

大数据(2)---HDFS集群搭建

 

 

 

  3.配置核心参数:

 

    1)指定hadoop的默认文件系统为:hdfs

 

    2)指定hdfsnamenode节点为哪台机器

 

    修改/etc/hadoop/core-site.xml 指定hadoop默认文件系统为hdfs,并且指定name node

 

    <configuration>

      <property>

        <name>fs.defaultFS</name><!--指定默认文件系统hdfs-->

        <value>hdfs://nijunyang68:9000/</value><!--指定name node为nijunyang_68-->

      </property>

    </configuration>

 

 

 

 

大数据(2)---HDFS集群搭建

 

 

    3) 指定namenode存储数据的本地目录

【ASP.NET Core学习】远程过程调用 - gRPC使用

    4) 指定datanode存放文件块的本地目录

    修改/etc/hadoop/hdfs-site.xml

<configuration>

    <property>

    <name>dfs.namenode.name.dir</name>

    <value>/hadoop/hdpdata/name/</value>

    </property>

    <property>

    <name>dfs.datanode.data.dir</name>

    <value>/hadoop/hdpdata/data</value>

    </property>

</configuration>        

 

大数据(2)---HDFS集群搭建

 

 

 

 

     每台机器都执行同样的操作,配置好上述配置,可以使用scp -r /soft/hadoop-2.8.5 nijunyang69:/soft 这个命令将第一台机器配置好的全部打包拷贝到另外机器上面去。

  4.配置hadoop环境变量

  5.初始化namenodehadoop namenode -format

 

  这时我们设置的namenode数据目录下面就会初始化出来对应的文件夹

大数据(2)---HDFS集群搭建

 

 

  6.启动namenode:在之前指定的namenode上面执行:hadoop-daemon.sh start namenode

 

  Jps查看可以看到一个namenodejava进程,同时通过默认的50070端口可以进行web访问

大数据(2)---HDFS集群搭建

 

 

 

 

 

 

 大数据(2)---HDFS集群搭建

 

  可以看到现在HDFS的容量还是0,因为我还没有启动datanode

   7.依次启动datanodehadoop-daemon.sh start datanode

  同样可以看到一个datanodejava进程启动了,再看web页面这个时候的hdfs容量大小差不多就是三个datanode之和了。

大数据(2)---HDFS集群搭建

 

 

大数据(2)---HDFS集群搭建

 

 

 

 

   至此整个hdfs集群基本就搭建完毕了,中间的一个小插曲,主机名一定不要带”.” “/” “_”等特殊符号,否则启动无服务的时候可能报错无法启动:Does not contain a valid host

大数据(2)---HDFS集群搭建

 

反射之深入理解Constructor原理

未经允许不得转载作者:站长, 转载或复制请以 超链接形式 并注明出处 xss云之家,资源网,娱乐网,网络技术资源分享平台
原文地址:《大数据(2)---HDFS集群搭建》 发布于2019-12-24

分享到:
赞(0) 打赏 生成海报

长按图片转发给朋友

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

投稿赚钱
2020年在家赚取零花钱
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

Q Q 登 录
微 博 登 录
切换登录

注册