大数据环境:Hadoop(CDH4发行版)集群部署详细教程

  • A+
所属分类:Seay信息安全博客

显示不全请点击全屏阅读

前言

折腾了一段时间hadoop的部署管理,写下此系列博客记录一下。

为了避免各位做部署这种重复性的劳动,我已经把部署的步骤写成脚本,各位只需要按着本文把脚本执行完,整个环境基本就部署完了。部署的脚本我放在了开源中国的git仓库里(http://git.oschina.net/snake1361222/hadoop_scripts)。

本文的所有部署都基于cloudera公司的CDH4,CDH4是cloudera公司包装好的hadoop生态圈一系列yum包,把CDH4放到自己的yum仓库中,能极大的提高hadoop环境部署的简易性。

本文的部署过程中涵盖了namenode的HA实现,hadoop管理的解决方案(hadoop配置文件的同步,快速部署脚本等)。

环境准备

一共用5台机器作为硬件环境,全都是centos 6.4

  • namenode & resourcemanager 主服务器: 192.168.1.1

  • namenode & resourcemanager 备服务器: 192.168.1.2

  • datanode & nodemanager 服务器: 192.168.1.100 192.168.1.101 192.168.1.102

  • zookeeper 服务器集群(用于namenode 高可用的自动切换): 192.168.1.100 192.168.1.101

  • jobhistory 服务器(用于记录mapreduce的日志): 192.168.1.1

  • 用于namenode HA的NFS: 192.168.1.100

环境部署

一、加入CDH4的YUM仓库

1.最好的办法是把cdh4的包放到自建的yum仓库中,如何自建yum仓库请看 自建YUM仓库

2.如果不想自建yum仓库,在所有的hadoop机器执行以下操作加入cdn4的yum仓库

1 wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/x86_64/cloudera-cdh-4-0.x86_64.rpm
2 sudo yum –nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm

二、创建用于namenode HA的NFS服务器

1.登录192.168.1.100,执行以下脚本 createNFS.sh

1 #!/bin/bash
2 yum -y install rpc-bind nfs-utils
3 mkdir -p /data/nn_ha/
4 echo “/data/nn_ha  *(rw,root_squash,all_squash,sync)” >> /etc/exports
5 /etc/init.d/rpcbind start
6 /etc/init.d/nfs  start
7 chkconfig  –level 234 rpcbind   on
8 chkconfig  -level 234 nfs  on

三、Hadoop Namenode & resourcemanager 主服务器 环境部署

1.登录192.168.1.1,创建脚本目录,把脚本从git仓库复制下来

1 yum –y install git
2 mkdir –p /opt/
3 cd /opt/
5 /etc/init.d/iptables stop

2.修改hostname

1 sh /opt/hadoop_scripts/deploy/AddHostname.sh

3.修改部署脚本的配置文件

1 vim /opt/kingsoft/hadoop_scripts/deploy/config
2 #添加master服务器的地址,也就是namenode主服务器
3 master=”192.168.1.1″
4 #添加nfs服务器地址
5 nfsserver=”192.168.1.100″

4.编辑hosts文件(此文件会同步到hadoop集群所有机器)

1 vim /opt/hadoop_scripts/share_data/resolv_host
2 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
3 ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
4 192.168.1.1 nn.dg.hadoop.cn
5 192.168.1.2 nn2.dg.hadoop.cn
6 192.168.1.100 dn100.dg.hadoop.cn
7 192.168.1.101 dn101.dg.hadoop.cn
8 192.168.1.102 dn102.dg.hadoop.cn

5.执行部署脚本CreateNamenode.sh

1 sh /opt/hadoop_scripts/deploy/CreateNamenode.sh

6.搭建saltstack master

PS:类似于puppet的服务器管理开源工具,比较轻量,在这里用于管理hadoop集群,调度datanode,关于saltstack的详细请看 SaltStack部署与使用

a.安装

1 yum -y install salt salt-master

b.修改配置文件`/etc/salt/master`,下面标志的是需要修改的项

1 修改监听IP:
2 interface: 0.0.0.0
3 多线程池:
4 worker_threads: 5
5 开启任务缓存:(官方描叙开启缓存能承载5000minion)
6 job_cache
7 开启自动认证:
8 auto_accept: True

c.开启服务

1 /etc/init.d/salt-master start
2 chkconfig  salt-master on

7.部署过程中已经把我的sample配置复制过去了,所以只需要修改部分配置文件

a. /etc/hadoop/conf/hdfs-site.xml (其实就是按实际修改主机名地址)

01 <property>
02   <name>dfs.namenode.rpc-address.mycluster.ns1</name>
03   <value>nn.dg.hadoop.cn:8020</value>
04   <description>定义ns1的rpc地址</description>
05 </property>
06 <property>
07   <name>dfs.namenode.rpc-address.mycluster.ns2</name>
08   <value>nn2.dg.hadoop.cn:8020</value>
09   <description>定义ns2的rpc地址</description>
10 </property>
11 <property>
12     <name>ha.zookeeper.quorum</name>
13     <value>dn100.dg.hadoop.cn:2181,dn101.dg.hadoop.cn:2181,dn102.dg.hadoop.cn:2181,</value>
14     <description>指定用于HA的ZooKeeper集群机器列表</description>
15 </property>

b. mapred-site.xml

1 <property>
2  <name>mapreduce.jobhistory.address</name>
3  <value>nn.dg.hadoop.cn:10020</value>
4 </property>
5 <property>
6  <name>mapreduce.jobhistory.webapp.address</name>
7  <value>nn.dg.hadoop.cn:19888</value>
8 </property>

c. yarn-site.xml

01 <property>
02   <name>yarn.resourcemanager.resource-tracker.address</name>
03   <value>nn.dg.hadoop.cn:8031</value>
04 </property>
05 <property>
06   <name>yarn.resourcemanager.address</name>
07   <value>nn.dg.hadoop.cn:8032</value>
08 </property>
09 <property>
10   <name>yarn.resourcemanager.scheduler.address</name>
11   <value>nn.dg.hadoop.cn:8030</value>
12 </property>
13 <property>
14   <name>yarn.resourcemanager.admin.address</name>
15   <value>nn.dg.hadoop.cn:8033</value>
16 </property>

三、Hadoop Namenode & resourcemanager 备服务器 环境部署

1.登录192.168.1.2,创建脚本目录,从主服务器把脚本同步过来

1 /etc/init.d/iptables stop
2 mkdir –p /opt/hadoop_scripts
3 rsync –avz 192.168.1.1::hadoop_s   /opt/hadoop_scripts

2.执行部署脚本CreateNamenode.sh

1 sh /opt/hadoop_scripts/deploy/CreateNamenode.sh

3.同步hadoop配置文件

1 rsync –avz 192.168.1.1::hadoop_conf  /etc/hadoop/conf

4.部署saltstack客户端

1 sh /opt/hadoop_scripts/deploy/salt_minion.sh

四、zookeeper服务器集群部署

zookeeper是一个开源分布式服务,在这里用于namenode 的auto fail over功能。

1.安装

1 yum install zookeeper zookeeper-server

2.修改配置文件/etc/zookeeper/conf/zoo.cfg

01 maxClientCnxns=50
02 # The number of milliseconds of each tick
03 tickTime=2000
04 # The number of ticks that the initial
05 # synchronization phase can take
06 initLimit=10
07 # The number of ticks that can pass between
08 # sending a request and getting an acknowledgement
09 syncLimit=5
10 # the directory where the snapshot is stored.
11 dataDir=/var/lib/zookeeper
12 # the port at which the clients will connect
13 clientPort=2181
14 #这里指定zookeeper集群内的所有机器,此配置集群内机器都是一样的
15 server.1=dn100.dg.hadoop.cn :2888:3888
16 server.2=dn101.dg.hadoop.cn:2888:3888

3.指定当前机器的id,并开启服务

1 #譬如当前机器是192.168.1.100(dn100.dg.hadoop.cn),它是server.1,id是1,SO:
2 echo “1” >  /var/lib/zookeeper/myid
3 chown -R zookeeper.zookeeper /var/lib/zookeeper/
4 service zookeeper-server init
5 /etc/init.d/zookeeper-server start
6 chkconfig zookeeper-server on
7 #如此类推,部署192.168.1.101

五、datanode & nodemanager 服务器部署

1.登录datanode机器,创建脚本目录,从主服务器把脚本同步过来

1 /etc/init.d/iptables stop
2 mkdir –p /opt/hadoop_scripts
3 rsync –avz 192.168.1.1::hadoop_s   /opt/hadoop_scripts

2.修改hostname,执行部署脚本 CreateDatanode.sh

1 sh /opt/hadoop_scripts/deploy/AddHostname.sh
2 sh /opt/hadoop_scripts/deploy/CreateDatanode.sh <span></span>

集群初始化

到这里,hadoop集群的环境已部署完毕,现在开始初始化集群

一、namenode的HA高可用初始化

1.在namenode主服务器(192.168.1.1)执行zookeeper的failover功能格式化

1 sudo –u hdfs hdfs zkfc –formatZK

2.把zookeeper集群服务启动(192.168.1.100 192.168.1.101 )

1 /etc/init.d/zookeeper-server start

3.把namenode主备服务器的zkfc服务起来(192.168.1.1 192.168.1.2)

1 /etc/init.d/hadoop-hdfs-zkfc start

4.在namenode主服务器(192.168.1.1)格式化hdfs

1 #确保是用hdfs用户格式化
2 sudo -u hdfs hadoop namenode –format

5.第一次搭建namenode高可用,需要把name.dir下面的数据复制到namenode备服务器(此坑花了好多时间)

a.在主服务器(192.168.1.1)执行

1 tar -zcvPf /tmp/namedir.tar.gz /data/hadoop/dfs/name/
2 nc -l 9999 < /tmp/namedir.tar.gz

b.在备服务器(192.168.1.2)执行

1 wget 192.168.1.1:9999 -O /tmp/namedir.tar.gz
2 tar -zxvPf /tmp/namedir.tar.gz

6.主从服务都启动

1 /etc/init.d/hadoop-hdfs-namenode start
2 /etc/init.d/hadoop-yarn-resourcemanager start

7.查看hdfs的web界面

3 #如果在web界面看到两个namenode都是backup状态,那就是auto fail over配置不成功
4 #查看zkfc日志(/var/log/hadoop-hdfs/hadoop-hdfs-zkfc-nn.dg.s.kingsoft.net.log)
5 #查看zookeeper集群的日志(/var/log/zookeeper/zookeeper.log)

8.现在可以尝试关闭namenode主服务,看是否能主从切换

二、hdfs集群开启

到这里,所有hadoop部署已完成,现在开始把集群启动,验证效果

1.把所有datanode服务器启动

1 #还记得之前搭建的saltstack管理工具不,现在开始发挥它的作用,登录saltstack master(192.168.1.1)执行
2 salt -v “dn*” cmd.run “/etc/init.d/hadoop-hdfs-datanode start”

2.查看hdfs web界面,看是否都成为live nodes

3.如果没有问题,现在可以尝试hdfs操作

01 #创建一个tmp目录
02 sudo -u hdfs hdfs dfs -mkdir /tmp
03 #创建一个10G大小的空文件,计算它的MD5值,并放入hdfs
04 dd if=/dev/zero of=/data/test_10G_file bs=1G count=10
05 md5sum /data/test_10G_file
06 sudo -u hdfs hdfs dfs -put /data/test_10G_file  /tmp
07 sudo -u hdfs hdfs dfs -ls /tmp
08 #现在可以尝试关闭一台datanode,然后把刚才的测试文件拉取出来,再算一次MD5看是否一样
09 sudo -u hdfs hdfs dfs -get /tmp/test_10G_file /tmp/
10 md5sum /tmp/test_10G_file

三、yarn集群开启

hadoop除了hdfs用于大数据的分布式存储,还有更重要的组件,分布式计算(mapreduce)。现在我们来把mapreducev2 yarn集群启动

1.在主服务器把resourcemanager服务起来(192.168.1.1)

1 /etc/init.d/hadoop-yarn-resourcemanager start

2.把所有nodemanager服务启动

1 #还是登陆saltstack master,执行
2 salt -v “dn*” cmd.run “/etc/init.d/hadoop-yarn-nodemanager start”

3.查看yarn 任务追踪界面(http://192.168.1.1:9081/),看是否所有nodes都已加入

4.hadoop自带有基准测试的mapreduce实例,我们利用它来测试yarn环境是否正常

01 #TestDFSIO测试HDFS的读写性能,写10个文件,每个文件1G.
02 su hdfs –
03 hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.0.0-cdh4.2.1-tests.jar TestDFSIO  -write -nrFiles 10 -fileSize 1000
04 #Sort测试MapReduce
05 ##向random-data目录输出数据
06 hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar randomwriter  random-data
07 ##运行sort程序
08 hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar sort random-data sorted-data
09 ##验证sorted-data 文件是否排好序
10 hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.0.0-cdh4.2.1-tests.jar testmapredsort -sortInput random-data \
11 -sortOutput sorted-data

Hadoop集群的管理

一、datanode & nodemanager 节点加入

1.修改hosts表,譬如有节点192.168.1.103需要加入

1 vim /opt/hadoop_scripts/share_data/resolv_host
2 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
3 ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
4 192.168.1.1 nn.dg.hadoop.cn
5 192.168.1.2 nn2.dg.hadoop.cn
6 192.168.1.100 dn100.dg.hadoop.cn
7 192.168.1.101 dn101.dg.hadoop.cn
8 192.168.1.102 dn102.dg.hadoop.cn
9 192.168.1.103 dn103.dg.hadoop.cn

2.修改hostname,同步脚本目录,并执行部署

1 mkdir –p /opt/hadoop_scripts
2 rsync –avz 192.168.1.1::hadoop_s   /opt/hadoop_scripts
3 sh /opt/hadoop_scripts/deploy/CreateDatanode.sh
4 sh /opt/hadoop_scripts/deploy/AddHostname.sh

3.开启服务

1 /etc/init.d/hadoop-hdfs-datanode start
2 /etc/init.d/hadoop-yarn-nodemanager start

二、修改hadoop配置文件

一般在一个hadoop集群中维护一份hadoop配置,这份hadoop配置需要分发到集群中各个成员。这里的做法是 salt + rsync

1 #修改namenode主服务器的hadoop配置文件  /etc/hadoop/conf/,然后执行以下命令同步到集群中所有成员
2 sync_h_conf
3 #脚本目录也是需要维护的,譬如hosts文件/opt/hadoop_scripts/share_data/resolv_host,修改后执行以下命令同步到集群中所有成员
4 sync_h_script
5 #其实这两个命令是我自己定义的salt命令的别名,查看这里/opt/hadoop_scripts/profile.d/hadoop.sh

三、监控

比较普遍的方案是,ganglia和nagios监控,ganglia收集大量度量,以图形化程序,nagios在某度量超出阀值后报警.ganglia监控以后补充一下文档

其实,hadoop自带有接口提供我们自己写监控程序,而且这个接口还是比较简单,通过这样便可以访问http://192.168.1.1:9080/jmx,返回值是JSON格式,其中的内容也非常详细。但是每次查询都返回一大串的JSON也是浪费,其实接口还提供更新详细的查询 譬如我只想查找系统信息,可以这样调用接口http://192.168.1.1:9080/jmx?qry=java.lang:type=OperatingSystem 。qry参考后跟的就是整个JSON的“name”这个key的值

 

作者:snakelxc

Tags:

Hadoop,

如果您喜欢我的博客,欢迎点击图片定订阅到邮箱填写您的邮件地址,订阅我们的精彩内容: 也可以点击链接【订阅到鲜果】

如果我的想法或工具帮助到了你,也可微信扫下方二维码打赏本人一杯咖啡
大数据环境:Hadoop(CDH4发行版)集群部署详细教程