Nginx整合Kafka的方法示例

背景

nginx-kafka-module是nginx的一个插件,可以将kafka整合到nginx中,便于web项目中前端页面埋点数据的收集,如前端页面设置了埋点,即可将用户的一些访问和请求数据通过http请求直接发送到消息中间件kafka中,后端可以通过程序消费kafka中的消息来进行实时的计算。比如通过SparkStream来实时的消费Kafka中的数据来分析用户PV,UV、用户的一些行为及页面的漏斗模型转化率,来更好的对系统进行优化或者对来访用户进行实时动态的分析。

具体整合步骤

1.安装git

?

2.切换到/usr/local/src目录,然后将kafka的c客户端源码clone到本地

?

3.进入到librdkafka,然后进行编译

?

4.安装nginx整合kafka的插件,进入到/usr/local/src,clone nginx整合kafka的源码

?

5.进入到nginx的源码包目录下 (编译nginx,然后将将插件同时编译)

?

6.修改nginx的配置文件:设置一个location和kafaka的topic,详情请查看当前目录的nginx.conf

?

如下图:

Nginx整合Kafka的方法示例

Nginx整合Kafka的方法示例

7.启动zk和kafka集群(创建topic)

?

8.启动nginx,报错,找不到kafka.so.1的文件

error while loading shared libraries: librdkafka.so.1: cannot open shared object file: No such file or directory

9.加载so库

?

10.测试,向nginx中写入数据,然后观察kafka的消费者能不能消费到数据

?

也可以模拟页面埋点请求接口来发送信息:

Nginx整合Kafka的方法示例

后台Kafka消费信息如图:

Nginx整合Kafka的方法示例

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持服务器之家。

原文链接:http://blog.51cto.com/simplelife/2307998



相关文章
推荐文章
热门文章

微信公众号推荐

相关推荐