光大银行准实时数据平台架构演进演讲人：张旭群内每日免费分享5份+最新资料300T网盘资源+40万份行业报告为您的创业、职场、商业、投资、亲子、网赚、艺术、健身、心理、个人成长……全面赋能！添加微信，备注“入群”立刻免费领取200套知识地图+最新研报收钱文案、增长黑客、产品运营、品牌企划、营销战略、办公软件、会计财务、广告设计、摄影修图、视频剪辑、直播带货、电商运营、投资理财、汽车房产、餐饮烹饪、职场经验、演讲口才、风水命理、心理思维、恋爱情趣、美妆护肤、健身瘦身、格斗搏击、漫画手绘、声乐训练、自媒体打造、效率软件工具、游戏影音……扫码先加好友，以备不时之需行业报告/思维导图/电子书/资讯情报致终身学习者社群致终身学习者社群关注公众号获取更多资料光大银行准实时数据平台技术负责人，专注于分布式系统内核研发。在消息中间件&OLAP领域有较丰富经验。开源爱好者，ApacheRocketMQcommitter，Prometheuscontributorhttps://github.com/maixiaohai个人介绍目录•准实时数据平台•架构演进实践•实时数据湖架构•数据服务总线实践•未来规划准实时数据平台准实时数据平台•特点•问题Kafka存储分层（贴源、标准、发布）内置了很多业务的数据处理逻辑（Spark、Flink、MR）实时数据平台&计算资源平台维护了过多的业务处理逻辑（需要了解不同业务的逻辑，无法在平台建设上投入更多的精力）平台组件过多，涵盖了数据的导入、消息存储、计算、调度等方面，导致平台定位不够清晰架构演进实践架构演进实践架构演进实践实时数据湖实时数据湖数据服务总线•Schema解耦•SDK封装•可观测性&可视化数据服务总线-schema解耦数据服务总线-schema解耦数据服务总线-SR高可用最佳实践•客户端：a.配置多个实例地址，缓存schema关系•服务端：a.独立部署b.多实例，主从结构，一写多读c.schema数据缓存d.跨域集群部署及容灾方案数据服务总线-SR跨域部署数据服务总线-SR优化•安全&权限a.插件实现的简单RBAC鉴权b.auditlog•运维a.kerberos整合b.监控打通数据服务总线-SDK封装提供统一的客户端入口•减少不同客户端版本带来的性能差异和稳定性问题•方便升级管理、灾备切换等•更好地规范客户端行为，增强对客户端的数据面控制数据服务总线-SDK消费定制化数据服务总线-SDK消费定制化数据服务总线-可观测性&可视化•Kafka服务端&客户端监控•控制台开发：schema和消费schema的可视化管理总结•更清晰的平台边界•覆盖分钟级实时贴源数据...
