折腾了一段时间hadoop的部署管理，写下此系列博客记录一下。
为了避免各位做部署这种重复性的劳动，我已经把部署的步骤写成脚本，各位只需要按着本文把脚本执行完，整个环境基本就部署完了。部署的脚本我放在了开源中国的git仓库里(http://git.oschina.net/snake1361222/hadoop_scripts)。
本文的所有部署都基于cloudera公司的CDH4,CDH4是cloudera公司包装好的hadoop生态圈一系列yum包，把CDH4放到自己的yum仓库中，能极大的提高hadoop环境部署的简易性。
本文的部署过程中涵盖了namenode的HA实现，hadoop管理的解决方案（hadoop配置文件的同步，快速部署脚本等）。
环境准备
一共用5台机器作为硬件环境，全都是centos 6.4
-
namenode & resourcemanager 主服务器: 192.168.1.1
-
namenode & resourcemanager 备服务器: 192.168.1.2
-
datanode & nodemanager 服务器: 192.168.1.100 192.168.1.101 192.168.1.102
-
zookeeper 服务器集群(用于namenode 高可用的自动切换): 192.168.1.100 192.168.1.101
-
jobhistory 服务器(用于记录mapreduce的日志): 192.168.1.1
-
用于namenode HA的NFS: 192.168.1.100
环境部署
一、加入CDH4的YUM仓库
1.最好的办法是把cdh4的包放到自建的yum仓库中,如何自建yum仓库请看 自建YUM仓库
2.如果不想自建yum仓库，在所有的hadoop机器执行以下操作加入cdn4的yum仓库
|
2
|
sudo yum –nogpgcheck localinstall cloudera-cdh-4-0.x86_64.rpm
|
二、创建用于namenode HA的NFS服务器
1.登录192.168.1.100,执行以下脚本 createNFS.sh
|
2
|
yum -y install rpc-bind nfs-utils
|
|
4
|
echo “/data/nn_ha *(rw,root_squash,all_squash,sync)” >> /etc/exports
|
|
5
|
/etc/init.d/rpcbind start
|
|
7
|
chkconfig –level 234 rpcbind on
|
|
8
|
chkconfig -level 234 nfs on
|
三、Hadoop Namenode & resourcemanager 主服务器 环境部署
1.登录192.168.1.1，创建脚本目录，把脚本从git仓库复制下来
|
5
|
/etc/init.d/iptables stop
|
2.修改hostname
|
1
|
sh /opt/hadoop_scripts/deploy/AddHostname.sh
|
3.修改部署脚本的配置文件
|
1
|
vim /opt/kingsoft/hadoop_scripts/deploy/config
|
|
2
|
#添加master服务器的地址，也就是namenode主服务器
|
|
5
|
nfsserver=”192.168.1.100″
|
4.编辑hosts文件(此文件会同步到hadoop集群所有机器)
|
1
|
vim /opt/hadoop_scripts/share_data/resolv_host
|
|
2
|
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
|
|
3
|
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
|
|
4
|
192.168.1.1 nn.dg.hadoop.cn
|
|
5
|
192.168.1.2 nn2.dg.hadoop.cn
|
|
6
|
192.168.1.100 dn100.dg.hadoop.cn
|
|
7
|
192.168.1.101 dn101.dg.hadoop.cn
|
|
8
|
192.168.1.102 dn102.dg.hadoop.cn
|
5.执行部署脚本CreateNamenode.sh
|
1
|
sh /opt/hadoop_scripts/deploy/CreateNamenode.sh
|
6.搭建saltstack master
PS:类似于puppet的服务器管理开源工具，比较轻量，在这里用于管理hadoop集群，调度datanode，关于saltstack的详细请看 SaltStack部署与使用
a.安装
|
1
|
yum -y install salt salt-master
|
b.修改配置文件`/etc/salt/master`,下面标志的是需要修改的项
|
5
|
开启任务缓存：（官方描叙开启缓存能承载5000minion）
|
c.开启服务
|
1
|
/etc/init.d/salt-master start
|
|
2
|
chkconfig salt-master on
|
7.部署过程中已经把我的sample配置复制过去了，所以只需要修改部分配置文件
a. /etc/hadoop/conf/hdfs-site.xml (其实就是按实际修改主机名地址)
|
02
|
<name>dfs.namenode.rpc-address.mycluster.ns1</name>
|
|
03
|
<value>nn.dg.hadoop.cn:8020</value>
|
|
04
|
<description>定义ns1的rpc地址</description>
|
|
07
|
<name>dfs.namenode.rpc-address.mycluster.ns2</name>
|
|
08
|
<value>nn2.dg.hadoop.cn:8020</value>
|
|
09
|
<description>定义ns2的rpc地址</description>
|
|
12
|
<name>ha.zookeeper.quorum</name>
|
|
13
|
<value>dn100.dg.hadoop.cn:2181,dn101.dg.hadoop.cn:2181,dn102.dg.hadoop.cn:2181,</value>
|
|
14
|
<description>指定用于HA的ZooKeeper集群机器列表</description>
|
b. mapred-site.xml
|
2
|
<name>mapreduce.jobhistory.address</name>
|
|
3
|
<value>nn.dg.hadoop.cn:10020</value>
|
|
6
|
<name>mapreduce.jobhistory.webapp.address</name>
|
|
7
|
<value>nn.dg.hadoop.cn:19888</value>
|
c. yarn-site.xml
|
02
|
<name>yarn.resourcemanager.resource-tracker.address</name>
|
|
03
|
<value>nn.dg.hadoop.cn:8031</value>
|
|
06
|
<name>yarn.resourcemanager.address</name>
|
|
07
|
<value>nn.dg.hadoop.cn:8032</value>
|
|
10
|
<name>yarn.resourcemanager.scheduler.address</name>
|
|
11
|
<value>nn.dg.hadoop.cn:8030</value>
|
|
14
|
<name>yarn.resourcemanager.admin.address</name>
|
|
15
|
<value>nn.dg.hadoop.cn:8033</value>
|
三、Hadoop Namenode & resourcemanager 备服务器 环境部署
1.登录192.168.1.2，创建脚本目录，从主服务器把脚本同步过来
|
1
|
/etc/init.d/iptables stop
|
|
2
|
mkdir –p /opt/hadoop_scripts
|
|
3
|
rsync –avz 192.168.1.1::hadoop_s /opt/hadoop_scripts
|
2.执行部署脚本CreateNamenode.sh
|
1
|
sh /opt/hadoop_scripts/deploy/CreateNamenode.sh
|
3.同步hadoop配置文件
|
1
|
rsync –avz 192.168.1.1::hadoop_conf /etc/hadoop/conf
|
4.部署saltstack客户端
|
1
|
sh /opt/hadoop_scripts/deploy/salt_minion.sh
|
四、zookeeper服务器集群部署
zookeeper是一个开源分布式服务，在这里用于namenode 的auto fail over功能。
1.安装
|
1
|
yum install zookeeper zookeeper-server
|
2.修改配置文件/etc/zookeeper/conf/zoo.cfg
|
02
|
# The number of milliseconds of each tick
|
|
04
|
# The number of ticks that the initial
|
|
05
|
# synchronization phase can take
|
|
07
|
# The number of ticks that can pass between
|
|
08
|
# sending a request and getting an acknowledgement
|
|
10
|
# the directory where the snapshot is stored.
|
|
11
|
dataDir=/var/lib/zookeeper
|
|
12
|
# the port at which the clients will connect
|
|
14
|
#这里指定zookeeper集群内的所有机器,此配置集群内机器都是一样的
|
|
15
|
server.1=dn100.dg.hadoop.cn :2888:3888
|
|
16
|
server.2=dn101.dg.hadoop.cn:2888:3888
|
3.指定当前机器的id,并开启服务
|
1
|
#譬如当前机器是192.168.1.100(dn100.dg.hadoop.cn),它是server.1，id是1，SO：
|
|
2
|
echo “1” > /var/lib/zookeeper/myid
|
|
3
|
chown -R zookeeper.zookeeper /var/lib/zookeeper/
|
|
4
|
service zookeeper-server init
|
|
5
|
/etc/init.d/zookeeper-server start
|
|
6
|
chkconfig zookeeper-server on
|
五、datanode & nodemanager 服务器部署
1.登录datanode机器,创建脚本目录，从主服务器把脚本同步过来
|
1
|
/etc/init.d/iptables stop
|
|
2
|
mkdir –p /opt/hadoop_scripts
|
|
3
|
rsync –avz 192.168.1.1::hadoop_s /opt/hadoop_scripts
|
2.修改hostname，执行部署脚本 CreateDatanode.sh
|
1
|
sh /opt/hadoop_scripts/deploy/AddHostname.sh
|
|
2
|
sh /opt/hadoop_scripts/deploy/CreateDatanode.sh <span></span>
|
集群初始化
到这里，hadoop集群的环境已部署完毕，现在开始初始化集群
一、namenode的HA高可用初始化
1.在namenode主服务器(192.168.1.1)执行zookeeper的failover功能格式化
|
1
|
sudo –u hdfs hdfs zkfc –formatZK
|
2.把zookeeper集群服务启动(192.168.1.100 192.168.1.101 )
|
1
|
/etc/init.d/zookeeper-server start
|
3.把namenode主备服务器的zkfc服务起来(192.168.1.1 192.168.1.2)
|
1
|
/etc/init.d/hadoop-hdfs-zkfc start
|
4.在namenode主服务器(192.168.1.1)格式化hdfs
|
2
|
sudo -u hdfs hadoop namenode –format
|
5.第一次搭建namenode高可用，需要把name.dir下面的数据复制到namenode备服务器（此坑花了好多时间）
a.在主服务器(192.168.1.1)执行
|
1
|
tar -zcvPf /tmp/namedir.tar.gz /data/hadoop/dfs/name/
|
|
2
|
nc -l 9999 < /tmp/namedir.tar.gz
|
b.在备服务器(192.168.1.2)执行
|
1
|
wget 192.168.1.1:9999 -O /tmp/namedir.tar.gz
|
|
2
|
tar -zxvPf /tmp/namedir.tar.gz
|
6.主从服务都启动
|
1
|
/etc/init.d/hadoop-hdfs-namenode start
|
|
2
|
/etc/init.d/hadoop-yarn-resourcemanager start
|
7.查看hdfs的web界面
|
3
|
#如果在web界面看到两个namenode都是backup状态，那就是auto fail over配置不成功
|
|
4
|
#查看zkfc日志(/var/log/hadoop-hdfs/hadoop-hdfs-zkfc-nn.dg.s.kingsoft.net.log)
|
|
5
|
#查看zookeeper集群的日志(/var/log/zookeeper/zookeeper.log)
|
8.现在可以尝试关闭namenode主服务，看是否能主从切换
二、hdfs集群开启
到这里，所有hadoop部署已完成，现在开始把集群启动，验证效果
1.把所有datanode服务器启动
|
1
|
#还记得之前搭建的saltstack管理工具不，现在开始发挥它的作用,登录saltstack master(192.168.1.1)执行
|
|
2
|
salt -v “dn*” cmd.run “/etc/init.d/hadoop-hdfs-datanode start”
|
2.查看hdfs web界面,看是否都成为live nodes
3.如果没有问题，现在可以尝试hdfs操作
|
02
|
sudo -u hdfs hdfs dfs -mkdir /tmp
|
|
03
|
#创建一个10G大小的空文件,计算它的MD5值，并放入hdfs
|
|
04
|
dd if=/dev/zero of=/data/test_10G_file bs=1G count=10
|
|
05
|
md5sum /data/test_10G_file
|
|
06
|
sudo -u hdfs hdfs dfs -put /data/test_10G_file /tmp
|
|
07
|
sudo -u hdfs hdfs dfs -ls /tmp
|
|
08
|
#现在可以尝试关闭一台datanode,然后把刚才的测试文件拉取出来，再算一次MD5看是否一样
|
|
09
|
sudo -u hdfs hdfs dfs -get /tmp/test_10G_file /tmp/
|
|
10
|
md5sum /tmp/test_10G_file
|
三、yarn集群开启
hadoop除了hdfs用于大数据的分布式存储，还有更重要的组件，分布式计算(mapreduce)。现在我们来把mapreducev2 yarn集群启动
1.在主服务器把resourcemanager服务起来（192.168.1.1）
|
1
|
/etc/init.d/hadoop-yarn-resourcemanager start
|
2.把所有nodemanager服务启动
|
1
|
#还是登陆saltstack master，执行
|
|
2
|
salt -v “dn*” cmd.run “/etc/init.d/hadoop-yarn-nodemanager start”
|
4.hadoop自带有基准测试的mapreduce实例，我们利用它来测试yarn环境是否正常
|
01
|
#TestDFSIO测试HDFS的读写性能,写10个文件，每个文件1G.
|
|
03
|
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.0.0-cdh4.2.1-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 1000
|
|
06
|
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar randomwriter random-data
|
|
08
|
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar sort random-data sorted-data
|
|
09
|
##验证sorted-data 文件是否排好序
|
|
10
|
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.0.0-cdh4.2.1-tests.jar testmapredsort -sortInput random-data \
|
|
11
|
-sortOutput sorted-data
|
Hadoop集群的管理
一、datanode & nodemanager 节点加入
1.修改hosts表,譬如有节点192.168.1.103需要加入
|
1
|
vim /opt/hadoop_scripts/share_data/resolv_host
|
|
2
|
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
|
|
3
|
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
|
|
4
|
192.168.1.1 nn.dg.hadoop.cn
|
|
5
|
192.168.1.2 nn2.dg.hadoop.cn
|
|
6
|
192.168.1.100 dn100.dg.hadoop.cn
|
|
7
|
192.168.1.101 dn101.dg.hadoop.cn
|
|
8
|
192.168.1.102 dn102.dg.hadoop.cn
|
|
9
|
192.168.1.103 dn103.dg.hadoop.cn
|
2.修改hostname，同步脚本目录,并执行部署
|
1
|
mkdir –p /opt/hadoop_scripts
|
|
2
|
rsync –avz 192.168.1.1::hadoop_s /opt/hadoop_scripts
|
|
3
|
sh /opt/hadoop_scripts/deploy/CreateDatanode.sh
|
|
4
|
sh /opt/hadoop_scripts/deploy/AddHostname.sh
|
3.开启服务
|
1
|
/etc/init.d/hadoop-hdfs-datanode start
|
|
2
|
/etc/init.d/hadoop-yarn-nodemanager start
|
二、修改hadoop配置文件
一般在一个hadoop集群中维护一份hadoop配置，这份hadoop配置需要分发到集群中各个成员。这里的做法是 salt + rsync
|
1
|
#修改namenode主服务器的hadoop配置文件 /etc/hadoop/conf/，然后执行以下命令同步到集群中所有成员
|
|
3
|
#脚本目录也是需要维护的，譬如hosts文件/opt/hadoop_scripts/share_data/resolv_host，修改后执行以下命令同步到集群中所有成员
|
|
5
|
#其实这两个命令是我自己定义的salt命令的别名，查看这里/opt/hadoop_scripts/profile.d/hadoop.sh
|
三、监控
比较普遍的方案是,ganglia和nagios监控，ganglia收集大量度量，以图形化程序，nagios在某度量超出阀值后报警.ganglia监控以后补充一下文档
其实，hadoop自带有接口提供我们自己写监控程序，而且这个接口还是比较简单，通过这样便可以访问http://192.168.1.1:9080/jmx,返回值是JSON格式，其中的内容也非常详细。但是每次查询都返回一大串的JSON也是浪费，其实接口还提供更新详细的查询 譬如我只想查找系统信息，可以这样调用接口http://192.168.1.1:9080/jmx?qry=java.lang:type=OperatingSystem 。qry参考后跟的就是整个JSON的“name”这个key的值
也可以点击链接【订阅到鲜果】
