新用户注册 | 会员登录
登录 极速注册
取消
热门标签 | HotTags
当前位置:   开发笔记 > 编程语言 > 正文

zookeeper+storm安装配置

做大数据,想学习一下storm,试着在虚拟机上配置一个环境,现将具体安装过程及遇到的问题记录一下。前提已经安装并配置好了虚拟机,比如virtualbox+centos7,并且JDK也安

做大数据,想学习一下storm,试着在虚拟机上配置一个环境,现将具体安装过程及遇到的问题记录一下。

前提已经安装并配置好了虚拟机,比如virtualbox + centos 7,并且JDK也安装并配置好,如果这个前提没有,请耐心的学习完成,可以网搜一些教程,也可以看我之前的博客。

首先,下载zookeeper和storm软件,

zookeeper-3.4.10-tar.gz,下载地址:http://zookeeper.apache.org/documentation.html

apache-storm-1.1.1.tar.gz,下载地址:http://storm.apache.org/downloads.html

一、安装zookeeper,就是直接将其解压到/usr/local目录下,当然也可以解压到其它目录,然后,修改zoo.cfg(该文件是不存在的,需要到zookeeper的conf目录下,拷贝zoo-sample.cfg,并将名称修改为zoo.cfg),找到tickTime,dataDir,clientPort,修改如下:


tickTime表示Zookeeper服务器心跳时间,单位毫秒
dataDir表示数据持久化路径,存储内存数据库快照、日志等数据
clientPort=# 连接端口

启动zookeeper,

[root@xhp1 zookeeper3.4.10]# ./bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper3.4.10/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

查看zookeeper状态,

[root@xhp1 zookeeper3.4.10]# ./bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper3.4.10/bin/../conf/zoo.cfg
Mode: standalone

停止zookeeper,

[root@xhp1 zookeeper3.4.10]# ./bin/zkServer.sh stop
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper3.4.10/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED


遇到问题:

1. root账户可以正常启动、关闭和查看状态,具有管理员权限的hadoop账户使用不正常?


二、安装配置storm

直接将apache-storm-1.1.1.tar.gz解压到/usr/local下面,解压操作:tar -zxvf apache-storm-1.1.1.tar.gz

通过mv apache-storm-1.1.1 storm111修改目录名称,chown -R hadoop:hadoop storm111修改目录及子目录的用户和用户组

添加环境变量:

vi /etc/profile

然后添加:export STORM_HOME=/usr/local/storm111

export PATH=$PATH:$STORM_HOME/bin

修改storm.yaml

(1) storm.zookeeper.servers 配置zookeeper的主机名

把该行开头的#去掉,把- “serverx”修改成你自己主机名,注意-的前后要有空格

(2)storm.local.dir 配置保存状态信息的目录

storm.local.dir: "/usr/local/storm111/status",注意:后面一定要有空格

(3) nimbus.seeds配置主控节点的地址

nimbus.seeds: ["xhp1"]

(4) supervisor.slots.ports配置工作节点的进程端口

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

注意:-后面一定要有空格,supervisor之前貌似也需要空格,再一次配置storm集群的时候,supervisor前没有空格,启动不了。

启动测试:

在storm111目录下,依次执行如下命令

./bin/storm nimbus

./bin/storm supervisor

./bin/storm ui

然后通过浏览器查看storm集群的状态,输入http://xhp1:8080


遇到的问题:

java.lang.IllegalArgumentException: Field SUPERVISOR_SLOTS_PORTS must be of type interface java.lang.Iterable. Object: -6700 -6701 -6702 -6703 actual type: class java.lang.String

-后面要有空格


参考:

1. http://zookeeper.apache.org/doc/r3.4.10/zookeeperStarted.html

2. http://blog.csdn.net/u012453843/article/details/70878117

3. https://www.cnblogs.com/z-sm/p/5691752.html


  • zookeeper
  • centos
  • http
  • apache
  • io
  • html
  • 文件
  • client
  • port
推荐阅读
  • config

    Linux下Kafka单机安装配置方法(实操成功)

    本文介绍了在Linux下安装和配置Kafka的方法,包括安装JDK、下载和解压Kafka、配置Kafka的参数,以及配置Kafka的日志目录、服务器IP和日志存放路径等。同时还提供了单机配置部署的方法和zookeeper地址和端口的配置。通过实操成功的案例,帮助读者快速完成Kafka的安装和配置。 ... [详细]
  • config

    Nginx使用AWStats日志分析的步骤及注意事项

    Nginx使用AWStats日志分析的步骤及注意事项
    本文介绍了在Centos7操作系统上使用Nginx和AWStats进行日志分析的步骤和注意事项。通过AWStats可以统计网站的访问量、IP地址、操作系统、浏览器等信息,并提供精确到每月、每日、每小时的数据。在部署AWStats之前需要确认服务器上已经安装了Perl环境,并进行DNS解析。 ... [详细]
  • char

    Nginx使用(server参数配置)

    Nginx使用(server参数配置)
    本文介绍了Nginx的使用,重点讲解了server参数配置,包括端口号、主机名、根目录等内容。同时,还介绍了Nginx的反向代理功能。 ... [详细]
  • config

    Firefox火狐浏览器关闭到http://detectportal.firefox.com的流量问题解决办法

    Firefox火狐浏览器关闭到http://detectportal.firefox.com的流量问题解决办法
    本文介绍了使用Firefox火狐浏览器时出现关闭到http://detectportal.firefox.com的流量问题,并提供了解决办法。问题的本质是因为火狐默认开启了Captive portal技术,当连接需要认证的WiFi时,火狐会跳出认证界面。通过修改about:config中的network.captive-portal-service.en的值为false,可以解决该问题。 ... [详细]
  • config

    页面请求方法参数最长_关于 HTTP GET/POST 请求参数长度最大值的一个理解误区

    http:my.oschina.netleejun2005blog136820刚看到群里又有同学在说HTTP协议下的Get请求参数长度是有大小限制的,最大不能超过XX ... [详细]
  • client

    ABAP开发发送邮件程序的配置和代码整理

    本文介绍了通过ABAP开发往外网发邮件的需求,并提供了配置和代码整理的资料。其中包括了配置SAP邮件服务器的步骤和ABAP写发送邮件代码的过程。通过RZ10配置参数和icm/server_port_1的设定,可以实现向Sap User和外部邮件发送邮件的功能。希望对需要的开发人员有帮助。摘要长度:184字。 ... [详细]
  • config

    在重复造轮子的情况下用ProxyServlet反向代理来减少工作量

    在重复造轮子的情况下用ProxyServlet反向代理来减少工作量
    像不少公司内部不同团队都会自己研发自己工具产品,当各个产品逐渐成熟,到达了一定的发展瓶颈,同时每个产品都有着自己的入口,用户 ... [详细]
  • dll

    C#制作Java+Mysql+Tomcat环境安装程序,一键式安装教程

    本文介绍了如何使用C#制作Java+Mysql+Tomcat环境安装程序,实现一键式安装。通过将JDK、Mysql、Tomcat三者制作成一个安装包,解决了客户在安装软件时的复杂配置和繁琐问题,便于管理软件版本和系统集成。具体步骤包括配置JDK环境变量和安装Mysql服务,其中使用了MySQL Server 5.5社区版和my.ini文件。安装方法为通过命令行将目录转到mysql的bin目录下,执行mysqld --install MySQL5命令。 ... [详细]
  • config

    rhel5.5搭建网关+LAMP+postfix+dhcp的步骤和配置方法

    本文介绍了在rhel5.5操作系统下搭建网关+LAMP+postfix+dhcp的步骤和配置方法。通过配置dhcp自动分配ip、实现外网访问公司网站、内网收发邮件、内网上网以及SNAT转换等功能。详细介绍了安装dhcp和配置相关文件的步骤,并提供了相关的命令和配置示例。 ... [详细]
  • php

    PHP URL处理的三个函数详解

    本文详细介绍了PHP中与URL处理相关的三个函数:http_build_query、parse_str和查询字符串的解析。通过示例和语法说明,讲解了这些函数的使用方法和作用,帮助读者更好地理解和应用。 ... [详细]
  • config

    Oracle中tnsnames.ora的作用和配置方法

    本文介绍了Oracle数据库中tnsnames.ora文件的作用和配置方法。tnsnames.ora文件在数据库启动过程中会被读取,用于解析LOCAL_LISTENER,并且与侦听无关。文章还提供了配置LOCAL_LISTENER和1522端口的示例,并展示了listener.ora文件的内容。 ... [详细]
  • config

    Linux下Perl的安装及第一个程序运行

    本文介绍了在Linux下安装Perl的步骤,并提供了一个简单的Perl程序示例。同时,还展示了运行该程序的结果。 ... [详细]
  • config

    Web学习历程记录(七)——Tomcat基本概念和配置

    本文介绍了Web学习历程记录中关于Tomcat的基本概念和配置。首先解释了Web静态Web资源和动态Web资源的概念,以及C/S架构和B/S架构的区别。然后介绍了常见的Web服务器,包括Weblogic、WebSphere和Tomcat。接着详细讲解了Tomcat的虚拟主机、web应用和虚拟路径映射的概念和配置过程。最后简要介绍了http协议的作用。本文内容详实,适合初学者了解Tomcat的基础知识。 ... [详细]
  • client

    计算机网络初识及通信流程分析

    本文介绍了计算机网络的定义和通信流程,包括客户端编译文件、二进制转换、三层路由设备等。同时,还介绍了计算机网络中常用的关键词,如MAC地址和IP地址。 ... [详细]
  • include

    成功安装Sabayon Linux在thinkpad X60上的经验分享

    成功安装Sabayon Linux在thinkpad X60上的经验分享
    本文分享了作者在国庆期间在thinkpad X60上成功安装Sabayon Linux的经验。通过修改CHOST和执行emerge命令,作者顺利完成了安装过程。Sabayon Linux是一个基于Gentoo Linux的发行版,可以将电脑快速转变为一个功能强大的系统。除了作为一个live DVD使用外,Sabayon Linux还可以被安装在硬盘上,方便用户使用。 ... [详细]
author-avatar
kuaike的诱惑
这个家伙很懒,什么也没留下!
Tags | 热门标签
  • hashcode
  • java
  • default
  • loops
  • hashset
  • python3
  • include
  • php7
  • php
  • input
  • bitmap
  • timezone
  • jar
  • search
  • stream
  • import
  • rsa
  • email
  • char
  • jsp
  • web
  • client
  • heatmap
  • object
  • config
  • dagger
  • dll
  • case
  • bytecode
  • export
RankList | 热门文章
  • 1 架构设计与架构思维
  • 2 CODEFORCES,43C Lucky Tickets
  • 3 用户和组_网络操作系统 第二章 用户和组管理
  • 4 C4D怎么创建立体的鸟巢模型? 鸟巢C4D建模技巧
  • 5 【轻量级跨平台数据库建模工具】PDMan数据建模使用
  • 6 《全球头部底层公链Seele元一的技术创新剖析应用落地的巨大价值》
  • 7 驱动人生dtlsoft不能删解决方法
  • 8 django path 路径最后是否加 / 的奇怪问题,希望各位看看?
  • 9 WIN10怎么彻底关闭自动调节亮度?win10自动亮度
  • 10 RedHat 专题社区
  • 11 ASP.NET 2.0数据教程:为TableAdapter添加方法
  • 12 ubuntu查看cudnn是否安装成功_查看cudnn是否安装
  • 13 Latex中引用公式和图片,并实现超链接点击自动跳转
  • 14 「云」发展的怎么样了?
  • 15 阐明引发金融创新的直接原因
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 | PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有
     

两个鬼故事猪儿童起乳名给孩子起名公司毛细现象取名起名大全下载软件炎之斗球儿弹平三生三世枕上书电视剧全集免费观看红纨雪菊gs美神极乐大作战今天有nba直播吗鬼来咬宦海龙腾姓崔的起名字大全男孩办照起名青梅竹马是消防员快穿攻略:撩男神100式混世妖王误入眉眼男女起名邢菲多高回家真好夏天poppy殡仪服务公司起名洪兴仔之江湖大风暴魔法种子女孩水字起名起名风水权威网se456新生儿起名字牛年女宝宝起名字大全沫字起名少年生前被连续抽血16次?多部门介入两大学生合买彩票中奖一人不认账让美丽中国“从细节出发”淀粉肠小王子日销售额涨超10倍高中生被打伤下体休学 邯郸通报单亲妈妈陷入热恋 14岁儿子报警何赛飞追着代拍打雅江山火三名扑火人员牺牲系谣言张家界的山上“长”满了韩国人?男孩8年未见母亲被告知被遗忘中国拥有亿元资产的家庭达13.3万户19岁小伙救下5人后溺亡 多方发声315晚会后胖东来又人满为患了张立群任西安交通大学校长“重生之我在北大当嫡校长”男子被猫抓伤后确诊“猫抓病”测试车高速逃费 小米:已补缴周杰伦一审败诉网易网友洛杉矶偶遇贾玲今日春分倪萍分享减重40斤方法七年后宇文玥被薅头发捞上岸许家印被限制高消费萧美琴窜访捷克 外交部回应联合利华开始重组专访95后高颜值猪保姆胖东来员工每周单休无小长假男子被流浪猫绊倒 投喂者赔24万小米汽车超级工厂正式揭幕黑马情侣提车了西双版纳热带植物园回应蜉蝣大爆发当地回应沈阳致3死车祸车主疑毒驾恒大被罚41.75亿到底怎么缴妈妈回应孩子在校撞护栏坠楼外国人感慨凌晨的中国很安全杨倩无缘巴黎奥运校方回应护栏损坏小学生课间坠楼房客欠租失踪 房东直发愁专家建议不必谈骨泥色变王树国卸任西安交大校长 师生送别手机成瘾是影响睡眠质量重要因素国产伟哥去年销售近13亿阿根廷将发行1万与2万面值的纸币兔狲“狲大娘”因病死亡遭遇山火的松茸之乡“开封王婆”爆火:促成四五十对奥巴马现身唐宁街 黑色着装引猜测考生莫言也上北大硕士复试名单了德国打算提及普京时仅用姓名天水麻辣烫把捣辣椒大爷累坏了

两个鬼故事 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化