分布式集群手操 – Storm搭建

Storm分布式集群搭建的示例，搭建环境基于上一篇HBase集群环境后的主机环境，但二者并无直接依赖，Storm集群需要依赖Zookeeper集群，可参见前几篇关于集群搭建的博文。

获取Strom

通过访问Apache Storm官方下载页获取新版本的Storm下载。以下安装以1.02版本为例。

将下载好的storm上传到虚拟机集群（当然也可以直接使用网络下载相关命令），并解压缩。

配置Storm

Storm依赖于Zookeeper，所以必须有Zookeeper集群，同时该版本的Storm需要Java7及Python2.6的运行环境，其他版本的运行环境需求参见官方说明。

进入storm安装目录下的conf配置文件夹，该目录下一般有以下三个文件：

storm_env.ini  storm-env.sh  storm.yaml

做以下配置的修改即可。

修改storm.yaml文件的如下内容：

storm.yaml

storm.zookeeper.servers:
    - "hdfs1"
    - "hdfs2"
    - "hdfs3"
storm.local.dir: "/home/bigdata/services/tmp/storm"
nimbus.seeds: ["hdfs1"]

主要设置了zookeeper集群主机列表、storm本地文件的存储目录及Nimbus节点列表（如果有多台，则在列表中列出[Nimbus H/A，1.0的新特性]）

还可以通过设置supervisor.slots.ports选项控制Supervisor的Worker数量，该选项接受端口列表，默认为4个，例如：nimbus.seeds: ["hdfs1","hdfs2","hdfs3"]。

分发配置好的storm安装文件到各节点

此处使用scp命令，参考前几篇集群搭建过程即可。

启动Storm

• 在Nimbus节点使用命令storm nimbus &启动Nimbus
• 在Nimbus节点使用命令storm ui &启动Storm的可视化Web管理容器
• 在Supervisor节点使用命令storm supervisor &启动Supervisor

启动成功后，可以在Nimbus节点8080端口看到storm ui页，如下图：

至此，Storm集群环境搭建完毕，使用该环境+Kafka集群（参见分布式集群手操 – Kafka搭建）即可进行一次实际演练——Storm实时处理 – Nginx访问日志