一、Pulsar介绍
1.1 Pulsar基本介绍
pulsar是一个云原生企业级的发布订阅（pub-sub）消息系统，最初由Yahoo开发，并于2016年底开源，现在是Apache软件基金会顶级开源项目。Pulsar在Yahoo的生产环境运行了三年多，助力Yahoo的主要应用，如Yahoo Finance、Yahoo Sports、Flickr、Gemini广告平台和Yahoo分布式键值存储系统Sherpa。
Apache Pulsar的功能与特性:
- 多租户模式
- 灵活的消息系统
- 云原生架构
- segmented Sreams(分片流)
- 支持跨地域复制
1.2 Pulsar架构
Pulsar官网： Apache Pulsar | Apache Pulsar
Producer & Consumer
Pulsar客户端包含一个消费者和一个生产者。生产者写入消息到某个主题。消费者从主题读取消息，并确认特定消息或所有特定消息。
Apache Zookeeper
Pulsar和BookKeeper使用Apache ZooKeeper保存节点之间协调的元数据，例如每个主题的分类账列表，每个分类账的片段，以及主题包到代理的映射。它是一个由高可用性和可复制的服务器组成的集群(通常是3个)。
Pulsar Brokers
主题(即分区)在Brokers代理之间进行划分。代理接收主题的消息，并将它们附加到托管在Bookkeeper集群上的主题的活动虚拟文件(又称分类账)。代理从缓存(大部分)或BookKeeper读取消息，并将它们分发给消费者。代理也接收消息确认并将其持久化到BookKeeper集群。代理是无状态的(不使用/不需要磁盘)。
Apache Bookkeeper
Apache BookKeeper是一个称为bookies的节点集群。每个虚拟文件(又名账本)被分成连续的段，默认情况下，每个段由3个bookies 保存(由客户端复制，即经纪人)。由于不需要在它们之间进行数据重组(移动)，运营商可以快速添加博彩公司。它们立即共享传入的写负载。
测试环境
|
主机名 |
IP |
角色 |
|
ddp01 |
192.168.2.76 |
zk,bookie,broker |
|
ddp02 |
192.168.2.78 |
zk,bookie,broker |
|
ddp03 |
192.168.2.80 |
zk,bookie,broker |
JDK版本兼容性如下：
二、Zookeeper集群安装
使用DataSophon 安装Zookeeper ，也可以直接tar包安装参考文档
选择服务
选择server节点
配置信息确认
安装完成
查看ZK配置信息，ZK安装路径：/opt/datasophon/zookeeper
zoo.cfg 配置文件
|
1 2 3 4 5 6 7 8 9 10 |
clientPort=2181 dataDir=/data/zookeeper dataLogDir=/data/log tickTime=2000 initLimit=10 syncLimit=5 server.1=192.168.2.76:2888:3888 server.2=192.168.2.78:2888:3888 server.3=192.168.2.80:2888:3888 skipACL=yes |
三、Pulsar集群安装
pulsar版本
Pulsar下载
|
1 2 3 4 5 6 |
# 3台创建 并同步安装包 mkdir -p /opt/module wget https://archive.apache.org/dist/pulsar/pulsar-2.8.1/apache-pulsar-2.8.1-bin.tar.gz tar -zxvf apache-pulsar-2.8.1-bin.tar.gz -C /opt/module cd /opt/module ln -s apache-pulsar-2.8.1-bin puslar_2.8.1 |
可以验证ZooKeeper节点是否启动成功
|
1 2 3 4 |
cd /opt/module/apache-pulsar-2.8.1 ./bin/pulsar zookeeper-shell -server 192.168.2.76:12181 ./bin/pulsar zookeeper-shell -server 192.168.2.78:12181 ./bin/pulsar zookeeper-shell -server 192.168.2.80:12181 |
如下进入了 ZK客户端，查看Znode节点
3.1 bookie与broker配置
3.1.1 修改bookie配置文件
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
# 分别每个节点执行 # 创建bookie所需要目录 mkdir -p /opt/module/pulsar_2.8.1/tmp/journal mkdir -p /opt/module/pulsar_2.8.1/tmp/ledger vim /opt/module/puslar_2.8.1/conf/bookkeeper.conf # advertisedAddress 修改为服务器对应的ip,在另外两台服务器也做对应的修改advertisedAddress=192.168.1.193 advertisedAddress=192.168.2.76 # 修改以下两个文件目录地址 journalDirectory=/opt/module/pulsar_2.8.1/tmp/journal ledgerDirectories=/opt/module/pulsar_2.8.1/tmp/ledger # 修改zk地址和端口信息 zkServers=192.168.2.76:2181,192.168.2.78:2181,192.168.2.80:2181 #httpServerPort默认也是8000,建议修改,我这里修改为:8100 prometheusStatsHttpPort=8100 |
3.1.2 修改broker配置文件
|
1 2 3 4 5 6 7 8 9 10 11 12 |
cd /opt/module/pulsar_2.8.1 vim conf/broker.conf 修改第44行: 更改为本地ip地址 advertisedAddress=192.168.2.76 修改第125行: 修改集群的名称 clusterName=pulsar-cluster 修改第1794行: 配置zookeeper地址 zookeeperServers=192.168.2.76:2181,192.168.2.78:2181,192.168.2.80:2181 修改第73行: 配置zookeeper地址 configurationStoreServers=192.168.2.76:2181,192.168.2.78:2181,192.168.2.80:2181 修改第73行 http请求服务端口 webServicePort=18080 |
同步到其它两台
|
1 2 3 4 |
scp -r apache-pulsar-2.7.5 ddp02:/opt/module scp -r apache-pulsar-2.7.5 ddp03:/opt/module cd /opt/module ln -s apache-pulsar-2.8.1-bin puslar_2.8.1 |
3.2 元数据初始化
在其中一个 zookeeper 节点的机器上，初始化集群元数据（总共只需执行一次）
|
1 2 3 4 5 6 7 8 9 10 11 12 13 |
#先查看端口占用情况,避免后面启动时会报端口占用错误 netstat -tpnl |grep 8080 netstat -tpnl |grep 8443 netstat -tpnl |grep 6650 netstat -tpnl |grep 6651 bin/pulsar initialize-cluster-metadata \ --cluster pulsar-cluster \ --zookeeper 192.168.2.76:2181,192.168.2.78:2181,192.168.2.80:2181 \ --configuration-store 192.168.2.76:2181,192.168.2.78:2181,192.168.2.80:2181 \ --web-service-url http://192.168.2.76:18080,192.168.2.78:18080,192.168.2.80:18080 \ --web-service-url-tls https://192.168.2.76:8443,192.168.2.78:8443,192.168.2.80:8443 \ --broker-service-url pulsar://192.168.2.76:6650,192.168.2.78:6650,192.168.2.80:6650 \ --broker-service-url-tls pulsar+ssl://192.168.2.76:6651,192.168.2.78:6651,192.168.2.80:6651 |
查看元数据是否初始化成功
|
1 2 3 4 5 6 |
#连接任意一台zookeeper,比如:192.168.1.193 ./bin/pulsar zookeeper-shell -server 127.0.0.1:2181 #查询数据 ls / #显示如下,有bookies,pulsar等信息,表示成功初始化 [admin, bookies, ledgers, managed-ledgers, namespace, stream, zookeeper] |
3.3 服务启动
|
1 2 3 4 5 6 7 8 9 10 11 |
# BookKeeper集群启动 #启动bookie命令,以后台进程启动bookie ./bin/pulsar-daemon start bookie # bookie停止命令 ./bin/pulsar-daemon stop bookie # 验证是否启动成功 ./bin/bookkeeper shell bookiesanity # 以后台进程启动 broker ./bin/pulsar-daemon start broker # broker关闭命令如下： ./bin/pulsar-daemon stop broker |
测试判断broker是否启动成功
|
1 |
./bin/pulsar-admin --admin-url http://192.168.2.76:18080 brokers list pulsar-cluster |
部署正常的话 会显示如下结果
3.4 消息收发测试
|
1 2 |
#在yx subscription 订阅中 consume 一条消息到topic:yx-tech的命令 ./bin/pulsar-client consume yx-tech -s "yx subscription" |
开启另一个终端发送数据，观察订阅者收到数据：content:hello-yx
|
1 2 3 |
#生产者发送: 向名称为 my-topic 的 topic 发送一条简单的消息 hello-pulsar #--messages后面双引号中的内容，若以英文逗号分隔，则消息会分开发送 ./bin/pulsar-client produce yx-tech --messages "hello-yx" |
如果消费者可以正常接收到消息就代表安装成功
四、Pulsar admin manger图形界面安装
Pulsar admin manger是基于Plusar的可视化界面，接下来进行安装
|
1 2 3 4 5 6 7 8 9 |
wget https://www.apache.org/dyn/closer.lua/pulsar/pulsar-manager/pulsar-manager-0.4.0/apache-pulsar-manager-0.4.0-bin.tar.gz tar -zxf apache-pulsar-manager-0.4.0-bin.tar.gz -C /home/bigdata/apps/ cd /home/bigdata/apps/apache-pulsar-manager-0.4.0-bin/ # 解压文件 tar -xvf pulsar-manager.tar # 进入解压后的文件夹 cd pulsar-manager # 复制文件 cp -r ../dist ui |
修改配置文件application.properties根据需要进行属性配置。如果不想修改应文件application.properties，可以通过命令将配置添加到启动参数中。这是Spring引导框架的一个功能。
|
1 |
/bin/pulsar --managerbackend.jwt.Token=Token |
启动pulsar
|
1 |
./bin/pulsar-manager |
初始化用户名密码
|
1 2 3 4 5 6 7 |
CSRF_TOKEN=$(curl http://localhost:7750/pulsar-manager/csrf-token) curl \ -H 'X-XSRF-TOKEN: $CSRF_TOKEN' \ -H 'Cookie: XSRF-TOKEN=$CSRF_TOKEN;' \ -H "Content-Type: application/json" \ -X PUT http://localhost:7750/pulsar-manager/users/superuser \ -d '{"name": "admin", "password": "apachepulsar", "description": "test", "email": "username@test.org"}' |
http://192.168.2.76:7750/ui/index.html
点击 new Environment, 设置集群环境即可
新建环境，连接pulsar。设置pulsar集群名字，这里是配置文件中的集群名。以及链接URL，这里也是初始化时配置的url。
可以查看和新建namespace 、topic 等
