用户实时行为数据采集
用户实时行为数据采集如下：
1.web、wap通过埋点实时发送用户行为数据至后端server， app直接调用http接口，server通过logback直接输出日志文件
2.flume通过tail命令监控日志文件变化
3.flume通过生产者消费者模式将tail收集到日志推送至kafka集群
4.kafka根据服务分配topic，一个topic可以分配多个group，一个group可以分配多个partition
5.storm实时监听kafka，流式处理日志内容，根据特定业务规则，将数据实时存储至cache，同时根据需要可以写入hdfs
6.kafka直接写入hdfs
声明：该文观点仅代表作者本人，牛骨文系教育信息发布平台，牛骨文仅提供信息存储空间服务。
- 上一篇： APMserv中对MySQL优化的设置
- 下一篇： 携程实时用户数据采集与分析系统
