北京市昌平区建材城西路金燕龙办公楼一层电话：400-618-9090陌陌综合案例学习目标1.案例介绍在陌陌中，每天都有数千万的用户进行聊天,陌陌公司目前想要对这些聊天记录进行存储,同时还需要对每天的消息量进行实时统计分析,请您来设计如何实现数据的存储以及实时的数据统计分析工作;需求如下:1)选择合理的存储容器进行数据存储,并让其支持基本数据查询工作2)进行实时统计消息总量3)进行实时统计各个地区收发消息的总量4)进行实时统计每一位客户发送和接收消息数量2.业务端消息数据源介绍本次案例,我们会直接提供专门用于生产陌陌消息数据的工具,可以直接部署在业务端进行数据生成即可。接下来部署用于生产数据的工具jar包北京市昌平区建材城西路金燕龙办公楼一层电话：400-618-90902.1消息数据说明字段名说明msg_time消息时间sender_nickyname发件人昵称sender_account发件人账号sender_sex发件人性别sender_ip发件人IPsender_os发件人系统sender_phone_type发件人手机型号sender_network发件人网络制式sender_gps发件人GPSreceiver_nickyname收件人昵称receiver_ip收件人IPreceiver_account收件人账号receiver_os收件人系统receiver_phone_type收件人手机型号receiver_network收件人网络制式receiver_gps收件人GPSreceiver_sex收件人性别msg_type消息类型distance双方距离message消息数据分割符号为\0012.2第一步:上传生产数据jar包到LinuxJar包名称:MoMo_DataGen.jar北京市昌平区建材城西路金燕龙办公楼一层电话：400-618-9090将上述两个文件上传到linux的/export/data/momo_init目录中mkdir-p/export/data/momo_initrz上传即可2.3第二步:执行jar包格式:java-jarMoMo_DataGen.jar读取初始数据路径输出目的地路径操作如下cd/export/data/momo_initjava-jarMoMo_DataGen.jarMoMo_Data.xlsx/export/data/momo_data/注意说明:1)输出路径一定是一个目录,整个路径后必须将/否则会有有问题2)保证输出目录已经存在mkdir-p/export/data/momo_data/查看数据是否正在生产说明:每隔5s左右会生成一个消息文件北京市昌平区建材城西路金燕龙办公楼一层电话：400-618-90903.案例架构介绍架构选型说明1)apacheflume的选择由于业务端数据在不断的在往一个目录下进行生产,我们需要实时的进行数据采集,而flume就是一个专门用于数据采集工具,比如就可以监控某个目录下文件,一旦有新的文件产生即可立即采集2)apachekafka的选型flume采集过程中,如果消息非常...
