爱奇艺大数据分析平台的演进之路爱奇艺技术产品中心杜益凡2018.11大苹果树模型目前大数据分析的挑战20+业务线近30亿用户设备300T+/天用户行为日志起始时代HiveMySQL报表系统日志机RSYNCSHELLJAVA魔镜时代投递管理：根据业务注册投递规范投递管理：生成规范进入开发投递验证：对投递进行测试验证AccioLog:日志飞来，将分散在Pingback服务器的日志包手机回来Transfiguration:日志变形，将日志转换为适合魔镜消费的格式并分类存放数据仓库：所有信息进入数据仓库待用定制计算：获得你的渴望通天塔时代批处理任务开发数据开发BabelBD流任务开发流任务运维实时报表制作流计算开发BabelStreaming任务开发数据源管理异构数据同步同步任务开发数据集成BabelX数据开发数据查找数据申请变更管理数据管理BabelDM数据血缘平台管理用户管理权限管理项目管理管理中心BabelConsole消息管理GearHive离线计算StreamingSQLFlink流式计算SparkSparkStreamingOLAPEngineImpalaOLAPKylinMySQL线上数据库数据源PingbackVenus机器日志CouchbaseRedisMongoDBHDFS大数据存储HBaseKudu开发平台层计算引擎资源层分析展现层路径分析自助分析工具BI平台莫奈自助查询工具批处理任务运维漏斗分析函数管理埋点投递管理数仓模型管理数仓管理BabelWarehouse指标&维度管理报表开发报表展示报警其它BI报表工具魔镜庖丁刃频次分析留存分析画像分析其他工作流管理与开发方式的演变使用Crontab直接驱动数据处理脚本运行Crontab使用Shell编写的一个运行框架SlytherinLinkedin公司的开源工作流调度器Azkaban基于Oozie的自研调度Gear通天塔数据开发BabelBDSlytherin驱动脚本驱动运行控制并发度执行脚本确保执行唯一性确保依赖满足执行脚本执行脚本。。。。。。Azkaban•Linkedin开源的工作流系统•使用简单，可视化程度高•当年只能单机Gear工作流管理Gear是爱奇艺服务云团队为开发者打造的定时任务和工作流管理服务，提供简洁的配置写法、方便的Web管理界面和完善的报警机制。Gear工作流管理Gear工作流管理Gear工作流管理BabelBDBabelBD报表制作方式的演变01020304龙源报表系统——开发者写代码开发报表开发报表龙源报表配置平台——开发者通过后台配置报表配置报表BI报表平台——用户从自助工具中发布报表发布报表用户自行拖拽制作自己的仪表盘或数据报告个性化报表龙源报表系统就是一个报表系统龙源报表系统VCM龙源报表系统•一张报表就是一个小JavaWeb项目•一类报表一个Package•严格遵循...
