传智播客教育集团ChuanZhiBoKeEducationGroup客快物流大数据项目QuickLogisticsBigData技术亮点功能介绍项目简介项目简介本项目基于大型物流公司研发的智慧物流大数据平台，该物流公司是国内综合性快递、物流服务商，并在全国各地都有覆盖的网点。经过多年的积累、经营以及布局，拥有大规模的客户群，日订单达上千万，如此规模的业务数据量，传统的数据处理技术已经不能满足企业的经营分析需求。该公司需要基于大数据技术构建数据中心，从而挖掘出隐藏在数据背后的信息价值，为企业提供有益的帮助，带来更大的利润和商机。该大数据项目主要围绕订单、运输、仓储、搬运装卸、包装以及流通加工等物流环节中涉及的数据、信息等。通过大数据分析可以提高运输以及配送效率、减少物流成本、更有效地满足客户服务要求，实现快速、高效、经济的物流，并针对数据分析结果，提出具有中观指导意义的解决方案。物流大数据可以根据市场进行数据分析，提高运营管理效率，合理规划分配资源，调整业务结构，确保每个业务均可盈利。根据数据分析结果，规划、预计运输路线和配送路线，缓解运输高峰期的物流行为，提高客户的满意度，提高客户粘度。功能介绍业务系统数据采集数据存储数据计算结果存储应用平台OracleMySQL1.业务系统数据主要存放到Oracle和MySQL数据库中，比如CRM系统数据在MySQL，OMS系统数据存放在Oracle中；OGGCanal2.OGG增量同步Oracle数据库的数据，Canal增量同步MySQL数据库的数据；Kafka集群3.OGG及Canal增量抽取的数据会写入到Kafka集群，供实时分析计算程序消费；实时分析StructuredStreaming4.实时分析计算程序消费kafka的数据，将消费出来的数据进行ETL操作；ElasticSearch5.为了方便业务部门对各类单据的查询，StructuredStreaming流式处理系统将数据经过ETL处理后，将数据写入到Elasticsearch索引中；ClickHouse6.StructuredStreaming流处理会将数据写入到ClickHouse，JavaWeb后端直接将数据查询出来进行展示,例如：将运输车辆的GPS位置数据实时展示到GIS地图；Kudu7.StructuredStreaming将实时ETL处理后的数据同步更新到Kudu中，方便进行数据的准实时分析、查询，Impala对Kudu数据进行即席分析查询；ImpalaSparkSQLKibana业务查询BIGISADHoc实时监控8.前端应用对数据进行可视化展示，比如数据服务接口或大屏实时刷新；课程安排第1章：客快物流大数据之项目介绍及解决方案第2章：客快物流大数据之docker使用第3章：客快物流大数据之...
